CN115410026A - 基于标签传播对比半监督学习的图像分类方法与*** - Google Patents

基于标签传播对比半监督学习的图像分类方法与*** Download PDF

Info

Publication number
CN115410026A
CN115410026A CN202210825399.1A CN202210825399A CN115410026A CN 115410026 A CN115410026 A CN 115410026A CN 202210825399 A CN202210825399 A CN 202210825399A CN 115410026 A CN115410026 A CN 115410026A
Authority
CN
China
Prior art keywords
image
label
semi
contrast
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210825399.1A
Other languages
English (en)
Inventor
徐晓华
李好
何萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202210825399.1A priority Critical patent/CN115410026A/zh
Publication of CN115410026A publication Critical patent/CN115410026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于标签传播对比半监督学***衡导致数据在标记时不匹配引起的模型性能严重下降的问题，提高图像数据分类的准确性，同时有效减少人工注释的工作。

Description

基于标签传播对比半监督学习的图像分类方法与***
技术领域
本发明属于图像处理领域，涉及一种基于标签传播对比半监督学习的图像分类方法与***。
背景技术
图像分类问题一直是研究的热点和难点，由于标记数据需要大量的人力财力，半监督学习的提出解决了大量标记数据的问题，但是标记数据和未标记数据之间有时会有不匹配的情况，在未标记的数据集中会出现标记数据中未出现过的数据，这造成了数据的不匹配问题，导致标记数据不可靠，不可靠的样本点可能会误导模型学习的过程，从而降低了算法的性能。
半监督学习最近受到了很多关注，因为它减轻了对大量标记数据的需求，这些数据通常很昂贵，需要专家知识并且收集起来很耗时。深度半监督分类的最新发展达到了前所未有的性能，监督学习和半监督学习之间的差距不断缩小。这种性能改进是基于包含许多技术技巧、强大的增强技术和具有多项损失函数的昂贵优化方案。半监督学习旨在结合少量的标签数据，从未标记的数据中提取信息，并产生与完全监督方法相当的结果。近年来，深度学习的发展推动了图像分类半监督学习(SSL)的新方向。这些新的深度方法的主要好处是能够学习特征表示，而不是依赖手工制作的特征。在过去几年中，深度SSL论文取得了前所未有的性能，监督和半监督模型之间的差距甚至比五年前小得多，半监督方法超过了某些监督技术。
在本发明作出之前，目前深度半监督做图像识别和图像分类都是采用一个无噪声无干扰的数据，标记数据和无标记数据之间也是平衡的，遇到和标记数据不平衡数据时都选择直接丢弃和标记数据比匹配的那一部分，在实际的应用中通常难以得到无噪声的未标记数据，训练数据是随机选取的，即有类的标签样例和无类标签的样例独立分布，无类标签的样例可能来自于有类标签的样例分布不同情景，并且带有噪声，导致标记数据和未标记数据会产生不匹配的情况，也导致了数据的不可靠，对于数据的准确性计算不能很好地把握，降低了模型的性能。
发明内容
发明目的：本发明的目的在于克服上述图像数据分布不平衡的缺陷，提供一种基于标签传播对比半监督学***衡导致数据在标记时不匹配引起的模型性能严重下降的问题，提高图像数据分类的准确性。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种基于标签传播对比半监督学习的图像分类方法，包括如下步骤：
(1)将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
(2)构建包括对比学习模型和标签传播模型的半监督图像分类框架，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
(3)使用对比学习得到的图像特征进行标签传播，使用相似对齐的方法，分别找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
(4)使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
(5)使用半监督网络模型对测试图像数据进行分类，获得分类结果。
进一步地，步骤(2)中的对比学习模型使用实例混合策略，用于改进对比特征学习，首先将对比学习转化为训练一个分类器，为一批数据分配一个唯一的虚拟标签，表明它们在批次中的身份；然后在输入空间和虚拟标签空间中混合图像实例，在训练期间提供更多的增强数据。
进一步地，所述实例混合策略是一种用于对比学习的数据驱动增强策略，具体为：令
Figure BDA0003746318510000021
为一批图像数据对，其中Np为批次大小，对于每个锚点，
Figure BDA0003746318510000022
是同一个图像数据的两个不同程度的增强版本，对于每个输入图像样本xi，
Figure BDA0003746318510000023
和
Figure BDA0003746318510000024
分别称为xi的正样本和负样本；对比学习模型f(·)学习最大化正样本对的相似性，同时最小化负样本对的相似性，f(·)的输出经过L2归一化，
Figure BDA0003746318510000028
是批次B中
Figure BDA0003746318510000025
和
Figure BDA0003746318510000026
的虚拟标签，同一图像的虚拟标签值是1，不同图像的混合虚拟标签值为0，对于具有虚拟标签的一般样本(xi,vi)、(xj,vj)，实例混合的方式如下：
mix＝(λxi+(1-λ)xj,λvi+(1-λ)vj)
其中λ是混合系数。
进一步地，步骤(2)中使用实例混合对比学习的对比损失
Figure BDA0003746318510000029
为：
Figure BDA0003746318510000027
每个批次设置一个虚拟标签，最后算出总的损失，其中N表示样本总量，τt表示温度参数，|B|表示批次B中图像样本数量，
Figure BDA0003746318510000031
表示两个L2归一化向量内积，
Figure BDA0003746318510000032
分别表示在两种不同增强版本下进行特征提取，vi,j表示虚拟标签，并且vi,i＝1，vi,j≠i＝0。
进一步地，步骤(2)中标签传播模型使用图扩散算法，具体为：设图像数据集D＝Dl+Du，
Figure BDA0003746318510000033
N＝Nl+Nu表示样本总量，Nl,Nu分别表示标记图像样本数量、未标记图像样本数量，yi是图像样本xi的标签；标签传播任务是从已标记的图像传播标签，来估计未标记图像样本的标签
Figure BDA0003746318510000034
首先，使用描述符集合V＝(v1,v2,...,vN)定义亲和矩阵，其中vi为图的结点，i＝1,2,...,N，根据数据关系构造亲和矩阵：
Figure BDA0003746318510000035
其中D＝diag(A1N)表示度矩阵，1N表示全一的N向量，邻接矩阵Ai,j:
Figure BDA0003746318510000036
γ是亲和参数，||·||是二范数，标签传播扩散的估计过程是：
F＝(I-αS)-1Y
F是估计矩阵，α∈[0,1]表示到相邻顶点的概率，Y是N×C的标签矩阵，C是类的数量；如果图像样本xi∈Dl，并且yi＝c，则Yic＝1，c表示类，最终估计的独热标签
Figure BDA0003746318510000037
表示如下：
Figure BDA0003746318510000038
其中
Figure BDA0003746318510000039
是矩阵Y中第i行c列的值，表示第i行c列的估计标签，Fic表示矩阵F中第i行c列的估计值。
进一步地，步骤(3)中使用相似对齐的方法中类上的相似性分布Sd按以下方法得到：给定标记图像样本集合中c类的列表，用编码器计算标记图像样本xi的特征表示zi，c类的特征表示是通过平均化得到，即
Figure BDA00037463185100000310
其中L是归一化常数值，Nc是c类标记图像样本的数量；给定一个具有归一化特征
Figure BDA00037463185100000314
的无标记图像样本x′，我们用C个预定的原型得到它的余弦相似度分布Sd＝(s1,s2,...,sC)，其中sc表示
Figure BDA00037463185100000311
的相似性，c＝1,2,...,C，C是类的数量。
进一步地，步骤(3)中构建一个可靠的图像数据集Dr的方法，具体为：使用交叉熵损失和余弦相似分布识别可靠图像样本：
Figure BDA00037463185100000312
使用softmax归一化
Figure BDA00037463185100000313
li表示第i个图像样本xi的交叉熵，
Figure BDA0003746318510000041
是经过标签传播得到的估计标签，
Figure BDA0003746318510000042
表示对比学习模型参数；选择c类的标记图像和无标记图像中损失最小的lc，当lc>sc为类c选择可靠样本集
Figure BDA0003746318510000043
创建可靠图像数据集
Figure BDA0003746318510000044
Nr＞Nl，Nr为可靠图像数据集中样本数量，Nl为标记图像样本数量。
进一步地，步骤(4)中，监督损失
Figure BDA00037463185100000412
使用地面真值标签yi与标记数据的预测值之间的交叉熵构成，表示为：
Figure BDA0003746318510000045
其中H表示两个值之间的交叉熵，
Figure BDA0003746318510000046
表示半监督模型为标记图像xi生成的预测类分布；
无监督损失
Figure BDA0003746318510000047
表示为：
Figure BDA0003746318510000048
其中
Figure BDA0003746318510000049
表示无标记图像在增强操作下模型生成的预测类分布，
Figure BDA00037463185100000410
表示模型生成的伪标签，1是指示函数，当max(pi)≥τ为真的话取1，为假的话取0，保留最大类别概率高于阈值τ的
Figure BDA00037463185100000411
以进行优化。
基于相同的发明构思，本发明提供的一种基于标签传播对比半监督学习的图像分类***，包括：
预处理模块，用于将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
对比学习提取特征模块，用于构建对比学习模型，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
标签传播模块，用于构建标签传播模型，使用对比学习得到的图像特征进行标签传播；
图像筛选模块，用于使用相似对齐的方法找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
分类模型训练模块，用于使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
以及测试模块，用于使用半监督网络模型对测试图像数据进行分类，获得分类结果。
基于相同的发明构思，本发明提供的一种计算机***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于标签传播对比半监督学习的图像分类方法。
有益效果：本发明的优点和效果在于克服标记图像数据和未标记图像数据的不匹配缺陷，少数标记的先验知识纳入对比学习中，目标是借助伪标记分支中的挖掘图像样本来寻求更具辨别力的表示。拉近未标记图像数据中和标记图像数据特征相似的距离。特征表示更具区分性，这有利于半监督学习。利用对比学习得到的特征进行标签传播，利用相似对齐选择可靠的图像样本，进行后面的半监督学习，对于不匹配的数据再利用无监督对比学习预测出其标签。具体表现为：
(1)将匹配数据和不匹配数据分开讨论，使用对比学习的方式学习标记图像数据的特征，然后使用学习到的标记特征进行标签传播，使用少量标记图像样本和未标记图像样本进行无监督学习，以获得区分性表示。无监督表示上的标签传播将少数标记的示例传播到所有图像样本。这可导致正确和错误标签。最后进行样本选择，选择出相似度高的可靠的图像样本，这样选择的标签更加可靠，以避免噪声标签，并创建可靠的扩展的标记图像数据集。最后使用可靠的扩展标记图像数据集和未标记的图像数据集进行模型的半监督训练，进行半监督图像分类。
(2)对和标记数据不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别。
本发明采用基于标签传播对比半监督学习方法，标签传播对比学习特征的半监督分类提供了具有从原始较少标记集
Figure BDA0003746318510000051
扩展的(较大)可靠标记集
Figure BDA0003746318510000052
的半监督算法。从
Figure BDA0003746318510000053
到
Figure BDA0003746318510000054
的扩展是以完全自监督的方式完成的，我们选用自监督中的对比学习的方法来研究，并且当给出很少的标签时，可以显着降低SSL算法的错误率，在对比学习中，正样本被简单地限制在一幅图像中，并进行不同的数据转换，而所有其他图像都被视为负样本并被推开。我们将少数标记的先验知识纳入对比学习中，目标是借助伪标记分支中的挖掘图像样本来寻求更具辨别力的表示。我们扩展了原始的对比学习损失，并将挖掘的图像样本与预定义的原型拉近距离。对于经标签传播得到的图像标签，使用相似分布对齐计算出图像的相似度，判断出与标记数据匹配的标签以及与标记数据不匹配的标签，然后对于两种不同的标签使用不同的分类方法进行分类，匹配数据与标记数据一起进行半监督分类，不匹配的数据进行无监督对比学习提取特征，进行标签的预测并分类。
附图说明
图1为本发明实施例的详细框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明的方案做详细说明。
如图1所示，本发明实施例公开的一种基于标签传播对比半监督学习的图像分类方法，使用对比学习提取图像数据特征，特征信息经过标签传播算法，利用相似对齐从未标记图像数据中选择与标记数据匹配、不匹配的标签，进而使用不同的方法去进行分类，匹配数据和标记数据一起进行半监督模型的训练，对图像进行分类，不匹配数据使用有效的正则化策略实例混合的对比学习进行提取特征，预测出类别信息。使用少量标记图像样本和未标记图像样本进行对比学习，以获得区分性表示。无监督表示上的标签传播将少数标记的图像示例传播到所有图像样本。这可导致正确和错误标签。最后进行图像样本选择，选择出相似度高的可靠的图像样本，这样选择的标签更加可靠，以避免噪声标签，并创建可靠的扩展的标记图像数据集。最后使用可靠的扩展标记图像数据集和未标记的图像数据集进行模型的半监督训练，进行半监督图像分类。
本发明采用基于标签传播对比半监督学习进行图像分类，克服了一般半监督方法对无标记图像数据无较好反馈导致分类准确率较低的缺陷，同时克服了全监督方法需求标记信息较多，物资耗费庞大的缺陷，以及克服了因为数据分布不均匀引起的数据不匹配的问题导致的模型性能下降的问题，本发明采用基于标签传播对比半监督学习的图像分类方法，采用对比学习提取图像数据特征，使用标签传播和相似对齐的方法判断是否和标记数据匹配，充分研究数据之间的关联，提高图像分类的精准度。
本发明实施例公开的一种基于标签传播对比半监督学习的图像分类方法，具体包括如下步骤：
(1)将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
(2)构建包括对比学习模型和标签传播模型的半监督图像分类框架，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
(3)使用对比学习得到的图像特征进行标签传播，使用相似对齐的方法，分别找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
(4)使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
(5)使用半监督网络模型对测试图像数据进行分类，获得分类结果。
步骤(1)中将图像数据集分为训练图像数据集和测试图像数据集，对图像数据集进行预处理包括数据增强和归一化处理，数据增强包括对训练数据集中图像进行翻转、旋转一定的角度、随机白化操作以扩充训练图像数据集。
步骤(2)中的对比学习模型使用实例混合策略，用于改进对比特征学习，首先将对比学习转化为训练一个分类器，为一批数据分配一个唯一的虚拟标签，表明它们在批次中的身份；然后在输入空间和虚拟标签空间中混合图像实例，在训练期间提供更多的增强数据。
进一步地，所述实例混合策略是一种用于对比学习的数据驱动增强策略，具体为：令
Figure BDA0003746318510000071
为一批图像数据对，其中Np为批次大小，对于每个锚点，
Figure BDA0003746318510000072
是同一个图像数据的两个不同程度的增强版本，对于每个输入图像样本xi，
Figure BDA0003746318510000073
和
Figure BDA0003746318510000074
分别称为xi的正样本和负样本；对比学习模型f(·)学习最大化正样本对的相似性，同时最小化负样本对的相似性，f(·)的输出经过L2归一化，
Figure BDA0003746318510000078
是批次B中
Figure BDA0003746318510000075
和
Figure BDA0003746318510000076
的虚拟标签，同一图像的虚拟标签值是1，不同图像的混合虚拟标签值为0，对于具有虚拟标签的一般样本(xi,vi)、(xj,vj)，实例混合的方式如下：
mix＝(λxi+(1-λ)xj,λvi+(1-λ)vj)
其中λ是混合系数。
步骤(2)中使用实例混合对比学习的对比损失
Figure BDA0003746318510000079
为：
Figure BDA0003746318510000077
每个批次设置一个虚拟标签，最后算出总的损失，其中N表示样本总量，τt表示温度参数，|B|表示批次B中图像样本数量，
Figure BDA0003746318510000081
表示两个L2归一化向量内积，
Figure BDA0003746318510000082
分别表示在两种不同增强版本下进行特征提取，vi,j表示虚拟标签，并且vi,i＝1，vi,j≠i＝0。
步骤(2)中标签传播模型使用图扩散算法，具体为：设图像数据集D＝Dl+Du，
Figure BDA0003746318510000083
N＝Nl+Nu表示样本总量，Nl,Nu分别表示标记图像样本数量、未标记图像样本数量，yi是图像样本xi的标签；标签传播任务是从已标记的图像传播标签，来估计未标记图像样本的标签
Figure BDA0003746318510000084
首先，使用描述符集合V＝(v1,v2,...,vN)定义亲和矩阵，其中vi为图的结点，i＝1,2,...,N，根据数据关系构造亲和矩阵：
Figure BDA0003746318510000085
其中D＝diag(A1N)表示度矩阵，1N表示全一的N向量，邻接矩阵Ai,j:
Figure BDA0003746318510000086
γ是亲和参数，||·||是二范数，标签传播扩散的估计过程是：
F＝(I-αS)-1Y
F是估计矩阵，α∈[0,1]表示到相邻顶点的概率，Y是N×C的标签矩阵，C是类的数量；如果图像样本xi∈Dl，并且yi＝c，则Yic＝1，c表示类，最终估计的独热标签
Figure BDA0003746318510000087
表示如下：
Figure BDA0003746318510000088
其中
Figure BDA0003746318510000089
是矩阵Y中第i行c列的值，表示第i行c列的估计标签，Fic表示矩阵F中第i行c列的估计值。
步骤(3)中使用相似对齐的方法中类上的相似性分布Sd按以下方法得到：给定标记图像样本集合中c类的列表，用编码器计算标记图像样本xi的特征表示zi，c类的特征表示是通过平均化得到，即
Figure BDA00037463185100000810
其中L是归一化常数值，Nc是c类标记图像样本的数量；给定一个具有归一化特征
Figure BDA00037463185100000816
的无标记图像样本x′，我们用C个预定的原型得到它的余弦相似度分布Sd＝(s1,s2,...,sC)，其中sc表示
Figure BDA00037463185100000811
的相似性，c＝1,2,...,C，C是类的数量。
步骤(3)中构建一个可靠的图像数据集Dr的方法，具体为：使用交叉熵损失和余弦相似分布分布识别可靠图像样本：
Figure BDA00037463185100000812
使用softmax归一化
Figure BDA00037463185100000813
li表示第i个图像样本xi的交叉熵，
Figure BDA00037463185100000814
是经过标签传播得到的估计标签，
Figure BDA00037463185100000815
表示对比学习模型参数；选择c类的标记图像和无标记图像中损失最小的lc，当lc>sc为类c选择可靠样本集
Figure BDA0003746318510000091
创建可靠图像数据集
Figure BDA0003746318510000092
Nr＞Nl，Nr为可靠图像数据集中样本数量，Nl为标记图像样本数量。
步骤(4)中，监督损失
Figure BDA0003746318510000099
使用地面真值标签yi与标记数据的预测值之间的交叉熵构成，表示为：
Figure BDA0003746318510000093
其中H表示两个值之间的交叉熵，
Figure BDA0003746318510000094
表示半监督模型为标记图像xi生成的预测类分布；
无监督损失
Figure BDA00037463185100000910
表示为：
Figure BDA0003746318510000095
其中
Figure BDA0003746318510000096
表示无标记图像在增强操作下模型生成的预测类分布，
Figure BDA0003746318510000097
表示模型生成的伪标签，1是指示函数，当max(pi)≥τ为真的话取1，为假的话取0，保留最大类别概率高于阈值τ的
Figure BDA0003746318510000098
以进行优化。
为证明本发明的效果，将本发明方法在现有图像数据集上分别与现有方法进行了对比。
我们使用两个图像分类数据集进行本发明(LPCSSL)的实验：CIFAR10、CIFAR100。CIFAR数据由60K 32×32(84×84)RGB图像组成，分为50K训练样本和10K用于测试。CIFAR10样本分为10个类别，而CIFAR100在100个类别中。遵循图像检索的常见做法，对CIFAR10和CIAFAR100分别标记1、4、10、25个标签，并对之前的特征执行PCA白化和L2归一化应用扩散。通过以高学***均。对于半监督学***比较。将我们的方法与最先进的伪标签和基于一致性正则化的半监督方法相结合，以证明我们的发明方法在应用于不同的半监督策略时的稳定性。使用伪标签的默认配置，除了网络初始化，利用旋转自监督目标。网络在标记集上预热200个epoch，然后在整个数据集上训练400个epoch。使用可靠集的扩展监督，使半监督算法能够在标准数据集上以极少的标记样本达到显着且稳定的精度。从表格数据可以看出无论标签数据的多少，本发明的效果都是最好的，由此可以看出本发明对图像分类任务的有效性。
表1:6种算法在CIFAR10图像数据集上的分类效果
Figure BDA0003746318510000101
表2:6种算法在CIFAR100图像数据集上的分类效果
Figure BDA0003746318510000102
基于相同的发明构思，本发明实施例公开一种基于标签传播对比半监督学习的图像分类***，包括：预处理模块，用于将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；对比学习提取特征模块，用于构建对比学习模型，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；标签传播模块，用于构建标签传播模型，使用对比学习得到的图像特征进行标签传播；图像筛选模块，用于使用相似对齐的方法找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；分类模型训练模块，用于使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；以及测试模块，用于使用半监督网络模型对测试图像数据进行分类，获得分类结果。
上述描述的各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所述模块的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***。
基于相同的发明构思，本发明实施例公开一种计算机***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于标签传播对比半监督学习的图像分类方法。
本领域技术人员可以理解的是，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机***(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储计算机程序的介质。

Claims (10)

1.一种基于标签传播对比半监督学习的图像分类方法，其特征在于，包括如下步骤：
(1)将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
(2)构建包括对比学习模型和标签传播模型的半监督图像分类框架，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
(3)使用对比学习得到的图像特征进行标签传播，使用相似对齐的方法，分别找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
(4)使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
(5)使用半监督网络模型对测试图像数据进行分类，获得分类结果。
2.根据权利要求1所述的基于标签传播对比半监督学习的图像分类方法，其特征在于，步骤(2)中的对比学习模型使用实例混合策略，用于改进对比特征学习，首先将对比学习转化为训练一个分类器，为一批数据分配一个唯一的虚拟标签，表明它们在批次中的身份；然后在输入空间和虚拟标签空间中混合图像实例，在训练期间提供更多的增强数据。
3.根据权利要求2所述的基于标签传播对比半监督学习的图像分类方法，其特征在于，所述实例混合策略是一种用于对比学习的数据驱动增强策略，具体为：令
Figure FDA0003746318500000011
为一批图像数据对，其中Np为批次大小，对于每个锚点，
Figure FDA0003746318500000012
是同一个图像数据的两个不同程度的增强版本，对于每个输入图像样本xi，
Figure FDA0003746318500000013
和
Figure FDA0003746318500000014
分别称为xi的正样本和负样本；对比学习模型f(·)学习最大化正样本对的相似性，同时最小化负样本对的相似性，f(·)的输出经过L2归一化，
Figure FDA0003746318500000015
是批次B中
Figure FDA0003746318500000016
和
Figure FDA0003746318500000017
的虚拟标签，同一图像的虚拟标签值是1，不同图像的混合虚拟标签值为0，对于具有虚拟标签的一般样本(xi,vi)、(xj,vj)，实例混合的方式如下：
mix＝(λxi+(1-λ)xj,λvi+(1-λ)vj)
其中λ是混合系数。
4.根据权利要求3所述的基于标签传播对比半监督学习的图像分类方法，其特征在于，步骤(2)中使用实例混合对比学习的对比损失
Figure FDA0003746318500000018
为：
Figure FDA0003746318500000021
每个批次设置一个虚拟标签，最后算出总的损失，其中N表示样本总量，τt表示温度参数，|B|表示批次B中图像样本数量，
Figure FDA0003746318500000022
表示两个L2归一化向量内积，
Figure FDA0003746318500000023
分别表示在两种不同增强版本下进行特征提取，vi,j表示虚拟标签，并且vi,i＝1，vi,j≠i＝0。
5.根据权利要求1所述的基于标签传播对比半监督学习的图像分类方法，其特征在于，步骤(2)中标签传播模型使用图扩散算法，具体为：设图像数据集D＝Dl+Du，
Figure FDA0003746318500000024
N＝Nl+Nu表示样本总量，Nl,Nu分别表示标记图像样本数量、未标记图像样本数量，yi是图像样本xi的标签；标签传播任务是从已标记的图像传播标签，来估计未标记图像样本的标签
Figure FDA00037463185000000213
首先，使用描述符集合V＝(v1,v2,...,vN)定义亲和矩阵，其中vi为图的结点，i＝1,2,...,N，根据数据关系构造亲和矩阵：
Figure FDA0003746318500000025
其中D＝diag(A1N)表示度矩阵，1N表示全一的N向量，邻接矩阵Ai,j:
Figure FDA0003746318500000026
γ是亲和参数，||·||是二范数，标签传播扩散的估计过程是：
F＝(I-αS)-1Y
F是估计矩阵，α∈[0,1]表示到相邻顶点的概率，Y是N×C的标签矩阵，C是类的数量；如果图像样本xi∈Dl，并且yi＝c，则Yic＝1，c表示类，最终估计的独热标签
Figure FDA0003746318500000027
表示如下：
Figure FDA0003746318500000028
其中
Figure FDA0003746318500000029
是矩阵Y中第i行c列的值，表示第i行c列的估计标签，Fic表示矩阵F中第i行c列的估计值。
6.根据权利要求1所述的基于标签传播对比半监督学***均化得到，即
Figure FDA00037463185000000210
其中L是归一化常数值，Nc是c类标记图像样本的数量；给定一个具有归一化特征
Figure FDA00037463185000000211
的无标记图像样本x′，我们用C个预定的原型得到它的余弦相似度分布Sd＝(s1,s2,...,sC)，其中sc表示
Figure FDA00037463185000000212
的相似性，c＝1,2,...,C，C是类的数量。
7.根据权利要求6所述的基于标签传播对比半监督学习的图像分类方法，其特征在于，步骤(3)中构建一个可靠的图像数据集Dr的方法，具体为：使用交叉熵损失和余弦相似分布识别可靠图像样本：
Figure FDA0003746318500000031
使用softmax归一化
Figure FDA0003746318500000032
li表示第i个图像样本xi的交叉熵，
Figure FDA0003746318500000033
是经过标签传播得到的估计标签，
Figure FDA0003746318500000034
表示对比学习模型参数；选择c类的标记图像和无标记图像中损失最小的lc，当lc>sc为类c选择可靠样本集
Figure FDA0003746318500000035
创建可靠图像数据集
Figure FDA0003746318500000036
Nr＞Nl，Nr为可靠图像数据集中样本数量，Nl为标记图像样本数量。
8.根据权利要求1所述的基于标签传播对比半监督学习的图像分类方法，其特征在于，步骤(4)中，监督损失
Figure FDA0003746318500000037
使用地面真值标签yi与标记数据的预测值之间的交叉熵构成，表示为：
Figure FDA0003746318500000038
其中Nl表示标记图像样本数量，H表示两个值之间的交叉熵，
Figure FDA0003746318500000039
表示半监督模型为标记图像xi生成的预测类分布；
无监督损失
Figure FDA00037463185000000310
表示为：
Figure FDA00037463185000000311
其中Nr为可靠图像数据集中样本数量，
Figure FDA00037463185000000312
表示无标记图像在增强操作下模型生成的预测类分布，
Figure FDA00037463185000000313
表示模型生成的伪标签，1是指示函数，当max(pi)≥τ为真的话取1，为假的话取0，保留最大类别概率高于阈值τ的
Figure FDA00037463185000000314
以进行优化。
9.一种基于标签传播对比半监督学习的图像分类***，其特征在于，包括：
预处理模块，用于将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
对比学习提取特征模块，用于构建对比学习模型，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
标签传播模块，用于构建标签传播模型，使用对比学习得到的图像特征进行标签传播；
图像筛选模块，用于使用相似对齐的方法找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
分类模型训练模块，用于使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
以及测试模块，用于使用半监督网络模型对测试图像数据进行分类，获得分类结果。
10.一种计算机***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述计算机程序被加载至处理器时实现根据权利要求1-8任一项所述的基于标签传播对比半监督学习的图像分类方法。
CN202210825399.1A 2022-07-14 2022-07-14 基于标签传播对比半监督学习的图像分类方法与*** Pending CN115410026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210825399.1A CN115410026A (zh) 2022-07-14 2022-07-14 基于标签传播对比半监督学习的图像分类方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210825399.1A CN115410026A (zh) 2022-07-14 2022-07-14 基于标签传播对比半监督学习的图像分类方法与***

Publications (1)

Publication Number Publication Date
CN115410026A true CN115410026A (zh) 2022-11-29

Family

ID=84156762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210825399.1A Pending CN115410026A (zh) 2022-07-14 2022-07-14 基于标签传播对比半监督学习的图像分类方法与***

Country Status (1)

Country Link
CN (1) CN115410026A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861846A (zh) * 2023-02-20 2023-03-28 南京航空航天大学 一种基于自监督的遥感图像目标检测训练方法
CN116108917A (zh) * 2023-02-21 2023-05-12 思腾合力(天津)科技有限公司 一种无标记样本增强的半监督图神经网络方法
CN116188876A (zh) * 2023-03-29 2023-05-30 上海锡鼎智能科技有限公司 基于信息混合的半监督学习方法及半监督学习装置
CN116206164A (zh) * 2023-05-06 2023-06-02 之江实验室 基于半监督对比学习的多相期ct分类***及构建方法
CN116385818A (zh) * 2023-02-09 2023-07-04 中国科学院空天信息创新研究院 云检测模型的训练方法、装置及设备
CN116403074A (zh) * 2023-04-03 2023-07-07 上海锡鼎智能科技有限公司 基于主动标注的半自动图像标注方法及标注装置
CN116702078A (zh) * 2023-06-02 2023-09-05 中国电信股份有限公司浙江分公司 基于模块式可扩展机柜电源分配单元的状态侦测方法
CN116894985A (zh) * 2023-09-08 2023-10-17 吉林大学 半监督图像分类方法及半监督图像分类***
CN117557843A (zh) * 2023-11-13 2024-02-13 江苏君立华域信息安全技术股份有限公司 一种基于半监督学习的流量识别方法及***
CN117971356A (zh) * 2024-03-29 2024-05-03 苏州元脑智能科技有限公司 基于半监督学习的异构加速方法、装置、设备及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385818A (zh) * 2023-02-09 2023-07-04 中国科学院空天信息创新研究院 云检测模型的训练方法、装置及设备
CN116385818B (zh) * 2023-02-09 2023-11-28 中国科学院空天信息创新研究院 云检测模型的训练方法、装置及设备
CN115861846A (zh) * 2023-02-20 2023-03-28 南京航空航天大学 一种基于自监督的遥感图像目标检测训练方法
CN116108917A (zh) * 2023-02-21 2023-05-12 思腾合力(天津)科技有限公司 一种无标记样本增强的半监督图神经网络方法
CN116108917B (zh) * 2023-02-21 2023-08-29 思腾合力(天津)科技有限公司 一种无标记样本增强的半监督图神经网络方法
CN116188876B (zh) * 2023-03-29 2024-04-19 上海锡鼎智能科技有限公司 基于信息混合的半监督学习方法及半监督学习装置
CN116188876A (zh) * 2023-03-29 2023-05-30 上海锡鼎智能科技有限公司 基于信息混合的半监督学习方法及半监督学习装置
CN116403074A (zh) * 2023-04-03 2023-07-07 上海锡鼎智能科技有限公司 基于主动标注的半自动图像标注方法及标注装置
CN116403074B (zh) * 2023-04-03 2024-05-14 上海锡鼎智能科技有限公司 基于主动标注的半自动图像标注方法及标注装置
CN116206164A (zh) * 2023-05-06 2023-06-02 之江实验室 基于半监督对比学习的多相期ct分类***及构建方法
CN116206164B (zh) * 2023-05-06 2023-08-18 之江实验室 基于半监督对比学习的多相期ct分类***及构建方法
CN116702078A (zh) * 2023-06-02 2023-09-05 中国电信股份有限公司浙江分公司 基于模块式可扩展机柜电源分配单元的状态侦测方法
CN116702078B (zh) * 2023-06-02 2024-03-26 中国电信股份有限公司浙江分公司 基于模块式可扩展机柜电源分配单元的状态侦测方法
CN116894985B (zh) * 2023-09-08 2023-12-15 吉林大学 半监督图像分类方法及半监督图像分类***
CN116894985A (zh) * 2023-09-08 2023-10-17 吉林大学 半监督图像分类方法及半监督图像分类***
CN117557843A (zh) * 2023-11-13 2024-02-13 江苏君立华域信息安全技术股份有限公司 一种基于半监督学习的流量识别方法及***
CN117971356A (zh) * 2024-03-29 2024-05-03 苏州元脑智能科技有限公司 基于半监督学习的异构加速方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN115410026A (zh) 基于标签传播对比半监督学习的图像分类方法与***
Masana et al. Metric learning for novelty and anomaly detection
CN109165306B (zh) 基于多任务哈希学习的图像检索方法
CN106778804B (zh) 基于类别属性迁移学习的零样本图像分类方法
US9008429B2 (en) Label-embedding for text recognition
US8737739B2 (en) Active segmentation for groups of images
Wang et al. Application of ReliefF algorithm to selecting feature sets for classification of high resolution remote sensing image
CN110647907B (zh) 利用多层分类和字典学习的多标签图像分类算法
CN104346620A (zh) 对输入图像中的像素分类的方法和装置及图像处理***
Zhou et al. Remote sensing scene classification based on rotation-invariant feature learning and joint decision making
Zhong et al. Fine-art painting classification via two-channel dual path networks
CN113326390B (zh) 基于深度特征一致哈希算法的图像检索方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及***
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
CN117893839B (zh) 一种基于图注意力机制的多标记分类方法及***
Zhang et al. Contour detection via stacking random forest learning
Thompson et al. finFindR: Computer-assisted recognition and identification of bottlenose dolphin photos in r
Suárez et al. Revisiting binary local image description for resource limited devices
CN114328942A (zh) 关系抽取方法、装置、设备、存储介质和计算机程序产品
Viana et al. SVM with stochastic parameter selection for bovine leather defect classification
Roth et al. Exploiting low-level image segmentation for object recognition
Atik et al. Explainable Artificial Intelligence for Machine Learning-Based Photogrammetric Point Cloud Classification
CN113255722A (zh) 图像标注方法及装置
Xiao et al. Road marking detection based on structured learning
Chu et al. Automatic image annotation combining svms and knn algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination