CN113344144A - 半监督的小样本类别增量学习方法、装置及分类识别方法 - Google Patents
半监督的小样本类别增量学习方法、装置及分类识别方法 Download PDFInfo
- Publication number
- CN113344144A CN113344144A CN202110860696.5A CN202110860696A CN113344144A CN 113344144 A CN113344144 A CN 113344144A CN 202110860696 A CN202110860696 A CN 202110860696A CN 113344144 A CN113344144 A CN 113344144A
- Authority
- CN
- China
- Prior art keywords
- model
- stage
- current stage
- incremental
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 162
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000013140 knowledge distillation Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000004821 distillation Methods 0.000 claims description 8
- 241000282326 Felis catus Species 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100460704 Aspergillus sp. (strain MF297-2) notI gene Proteins 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种半监督的小样本类别增量学习方法、装置及分类识别方法,包括:在基本阶段时,利用基本阶段获得的基础数据集对初始模型进行训练学习获得基本阶段的模型,并将基础数据集加入初始总集获得基本阶段的总集;在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的增量训练集和累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新总集;在模型训练过程结束后,输出训练完成的目标模型,以利用目标模型对所有见过类别进行分类。本发明在少量标记数据样本和大量未标记数据样本情况下增量学习新类别,同时避免大篇幅遗忘先前学习过的旧类别,提高了小样本类别的分类性能。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种半监督的小样本类别增量学习方法、装置及分类识别方法。
背景技术
人们通过不断学习新的观念来了解周围的环境,例如,通过学习一些猫的例子来识别猫,并通过比较学习一些狗的例子进一步区分猫和狗,如此,可以将人们大脑不断地接收一些样本学习新概念,并更新学习到的概念之间的边界,这种能力称为FSCIL(Few-ShotClass-Incremental Learning,小样本类别增量学习)。在一些智能识别***中,例如医学图像分析***和汽车自动驾驶***等,给智能识别***配备这种能力是十分重要的,然而,针对智能识别***收集标记数据仍具有一定的挑战性,具体表现在数据集的时效性、昂贵的成本、涉及到的隐私问题和涉及领域的专业知识等。
FSCIL具有两个挑战性的问题,分别为小样本学习和增量学习。显然接收当前阶段带有有限标记数据的新类别,同时避免大篇幅遗忘前一个阶段的旧类别,这一问题在FSCIL仍然未被克服。
发明内容
本发明实施例的目的在于提供一种半监督的小样本类别增量学习方法、装置及分类识别方法,以解决现有技术中的小样本类别增量学习方法无法克服从少量标记数据样本和大量未标记数据样本的情况下增量学习新类别,同时避免大篇幅遗忘先前学习过的旧类别的问题。
基于上述目的,本发明实施例提供一种半监督的小样本类别增量学习方法,包括:
构建初始模型和初始总集;
在基本阶段时,利用基本阶段获得的基础数据集对所述初始模型进行训练学习获得所述基本阶段的模型,并将所述基础数据集加入所述初始总集获得基本阶段的总集;
在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的所述增量训练集和所述累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集;其中,所述增量训练集包含标记数据集和未标记数据集;
在模型训练过程结束后,输出训练完成的目标模型,以利用所述目标模型对所有见过类别进行分类;其中,所述模型训练过程包含一个所述基本阶段和多个所述增量阶段。
可选的,所述在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的所述增量训练集和所述累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集,包括:
对于每一个增量阶段,从上一阶段的总集中采样获得当前阶段的累积训练集,并在未标记数据集为非空集时,利用当前阶段的累积训练集和标记数据集对上一阶段的模型进行更新,得到迭代更新后的模型;
通过迭代更新后的模型预测所述未标记数据集,从所述未标记数据集中选取至少一个未标记数据样本和对应的伪标签加入所述标记数据集中,并从所述未标记数据集中移除,以更新所述增量训练集;
检测当前阶段是否满足迭代更新的结束条件;
若当前阶段满足迭代更新的结束条件,则结束当前阶段的迭代更新过程,并输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集;
若当前阶段不满足迭代更新的结束条件,则利用当前阶段更新后的所述增量训练集和所述累积训练集对模型再次进行迭代更新,直至当前阶段满足迭代更新的结束条件,输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集。
可选的,所述检测当前阶段是否满足迭代更新的结束条件,包括:
通过知识蒸馏算法计算损失值,并检测所述损失值是否小于等于损失阈值;
若所述损失值小于等于损失阈值,则确定当前阶段满足迭代更新的结束条件;否则检测当前阶段的迭代次数是否达到最大迭代次数;
若当前阶段的迭代次数达到最大迭代次数,则确定当前阶段满足迭代更新的结束条件;否则确定当前阶段不满足迭代更新的结束条件。
可选的,所述知识蒸馏算法为:
基于同一发明构思,本发明实施例还提供一种半监督的小样本类别增量学习装置,包括:
初始化模块,用于构建初始模型和初始总集;
基本阶段模块,用于在基本阶段时,利用基本阶段获得的基础数据集对所述初始模型进行训练学习获得所述基本阶段的模型,并将所述基础数据集加入所述初始总集获得基本阶段的总集;
增量阶段模块,用于在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的所述增量训练集和所述累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集;其中,所述增量训练集包含标记数据集和未标记数据集;
模型输出模块,用于在模型训练过程结束后,输出训练完成的目标模型,以利用所述目标模型对所有见过类别进行分类;其中,所述模型训练过程包含一个所述基本阶段和多个所述增量阶段。
可选的,所述增量阶段模块包括:
模型更新子模块,用于对于每一个增量阶段,从上一阶段的总集中采样获得当前阶段的累积训练集,并在未标记数据集为非空集时,利用当前阶段的累积训练集和标记数据集对上一阶段的模型进行更新,得到迭代更新后的模型;
数据集更新子模块,用于通过迭代更新后的模型预测所述未标记数据集,从所述未标记数据集中选取至少一个未标记数据样本和对应的伪标签加入所述标记数据集中,并从所述未标记数据集中移除,以更新所述增量训练集;
条件检测子模块,用于检测当前阶段是否满足迭代更新的结束条件;
迭代更新子模块,用于若当前阶段满足迭代更新的结束条件,则结束当前阶段的迭代更新过程,并输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集;若当前阶段不满足迭代更新的结束条件,则利用当前阶段更新后的所述增量训练集和所述累积训练集对模型再次进行迭代更新,直至当前阶段满足迭代更新的结束条件,输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集。
可选的,所述条件检测子模块包括:
知识蒸馏单元,用于通过知识蒸馏算法计算损失值,并检测所述损失值是否小于等于损失阈值;
损失值检测单元,用于若所述损失值小于等于损失阈值,则确定当前阶段满足迭代更新的结束条件;否则检测当前阶段的迭代次数是否达到最大迭代次数;
迭代次数检测单元,用于若当前阶段的迭代次数达到最大迭代次数,则确定当前阶段满足迭代更新的结束条件;否则确定当前阶段不满足迭代更新的结束条件。
基于同一发明构思,本发明实施例还提供一种用于图像数据的分类识别方法,包括:
构建用于图像数据分类的初始卷积神经网络模型;
采用上述半监督的小样本类别增量学习方法,利用基本数据集和增量数据集对所述初始卷积神经网络模型进行半监督学习,获得目标卷积神经网络模型;其中,所述增量数据集包含标记数据集和未标记数据集;
获取包含多个待识别图像的图像数据集,通过所述目标卷积神经网络模型对所述图像数据集中所有待识别图像进行分类识别,以获得每一个所述待识别图像的类别。
由上可知,本发明实施例提供的半监督的小样本类别增量学习方法,首先在大规模标记数据集对始化模型进行训练学习,然后在每个增量阶段中,从此前的总集中采样获得累积训练集,并结合由标记数据集和未标记数据集构成的增量训练集对模型进行半监督学习,逐步向模型引入新类别,相较于现有技术中的小样本类别增量学习方法,本发明实施例提供的半监督的小样本类别增量学习方法可以在少量标记数据样本和大量未标记数据样本的情况下增量学习新类别,同时避免大篇幅遗忘先前学习过的旧类别,提高了小样本类别的分类性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例中半监督的小样本类别增量学习方法的流程示意图;
图2为本发明一实施例中半监督的小样本类别增量学习方法的步骤S30的流程示意图;
图3为本发明一实施例中半监督的小样本类别增量学习装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
本发明中涉及的部分名词解释如下:
SSFSCIL:Semi-Supervised for Few-Shot Class-Incremental Learning,半监督的小样本类别增量学习。
如图1所示,本发明一实施例提供的一种半监督的小样本类别增量学习方法,具体包括以下步骤:
步骤S10,构建初始模型和初始总集。
步骤S20,在基本阶段时,利用基本阶段获得的基础数据集对初始模型进行训练学习获得基本阶段的模型,并将基础数据集加入初始总集获得基本阶段的总集。
在本实施例中,若检测到当前阶段为模型训练过程中的基本阶段,也即,则获取基本阶段的基础数据集,并利用基础数据集训练初始模型,获得基本阶段的模型,以及将基础数据集加入初始总集,获得基本阶段的总集。其中,基础数据集由基础类组成,且包含大规模的标记数据样本,可以表示为,为基础数据集中的第个数据样本,为第个数据样本的类别。
步骤S30,在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的增量训练集和累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集;其中,增量训练集包含标记数据集和未标记数据集。
在本实施例中,若检测到当前阶段为模型训练过程中的增量阶段,也即(为模型训练过程的总阶段数),则从上一阶段的总集中采样获取当前阶段的累积训练集,并获取当前阶段的增量训练集,该增量训练集包含标记数据集和未标记数据集,可以表示为。其中,标记数据集包含少量的标记数据样本,且由个类组成,每个类包含个标记数据样本,可以表示为;未标记数据集包含大量的未标记数据样本,可以表示为;其次,标记数据集中的样本数量远远小于未标记数据集中的样本数量,即,且标记数据集中的标记数据样本和未标记数据集中的未标记数据样本在同一增量阶段中属于同一个领域。
如图2所示,作为优选,步骤S30具体包括以下步骤:
步骤S301,对于每一个增量阶段,从上一阶段的总集中采样获得当前阶段的累积训练集,并在未标记数据集为非空集时,利用当前阶段的累积训练集和标记数据集对上一阶段的模型进行更新,得到迭代更新后的模型。
在步骤S301中,对于模型训练过程中的任一一个增量阶段,首先从上一阶段的总集中随机采样获得当前阶段的累积训练集,该采样过程用于保持模型在旧类别上的性能;然后检测增量训练集中的未标记数据集是否为空集,若未标记数据集为非空集,则利用当前阶段的累积训练集和标记数据集对上一阶段获得的模型进行迭代更新,得到迭代更新后的模型。需要说明的是,当未标记数据集中的未标记数据样本全部添加到标记数据集时,未标记数据集被检测为空集,此时由标记数据集和未标记数据集构成的增量训练集中所有数据样本均具有一个标签。
可理解的,若未标记数据集为空集,利用当前阶段的累积训练集和标记数据集对上一阶段获得的模型进行迭代更新,直至满足迭代更新的结束条件,结束当前阶段的迭代更新过程,输出当前阶段的模型,并利用增量训练集加入上一阶段的总集中,以更新总集得到当前阶段的总集。优选地,迭代更新的结束条件包括通过知识蒸馏算法计算得到的损失值小于等于损失阈值,或者当前阶段的迭代次数达到最大迭代次数。
步骤S302,通过迭代更新后的模型预测未标记数据集,从未标记数据集中选取至少一个未标记数据样本和对应的伪标签加入标记数据集,并从未标记数据集中移除,以更新增量训练集。
在步骤S302中,通过迭代更新后的模型预测未标记数据集中所有未标记数据样本的伪标签,从未标记数据集中选取个预测可信度达到可信度阈值的未标记数据样本,将选定的未标记数据样本和对应的伪标签添加至标记数据集,并从未标记数据集中移除,以更新标记数据集和未标记数据集,进而更新增量训练集。
步骤S303,检测当前阶段是否满足迭代更新的结束条件。
其中,知识蒸馏算法包含交叉熵损失函数和蒸馏损失函数两部分,具体表示为:
也即,若,或者,则确定当前阶段满足迭代更新的结束条件,进一步地进入步骤S304结束当前阶段的迭代更新过程,进入下一阶段训练模型;而若,且,则确定当前阶段不满足迭代更新的结束条件,进一步地进入步骤S305再次对模型进行迭代更新。可理解的,本实施例通过知识蒸馏算法计算损失值,并基于损失值来迭代更新模型,这种基于知识蒸馏的类增量学习,可以避免大篇幅遗忘旧类别的问题。
步骤S304,若当前阶段满足迭代更新的结束条件,则结束当前阶段的迭代更新过程,并输出当前阶段的模型,并将更新后的增量训练集加入上一阶段的总集,得到当前阶段的总集。
步骤S305,若当前阶段不满足迭代更新的结束条件,则利用当前阶段更新后的增量训练集和累积训练集对模型再次进行迭代更新,直至当前阶段满足迭代更新的结束条件,输出当前阶段的模型,并将更新后的增量训练集加入上一阶段的总集,得到当前阶段的总集。
作为优选,在增量阶段的迭代更新过程中,若检测到通过知识蒸馏算法得到的损失值小于等于损失阈值,或者当前阶段的迭代次数达到最大迭代次数,则结束当前阶段的迭代更新过程,并将迭代更新后的模型作为当前阶段的模型输出,同时将更新后的增量训练集加入上一阶段的总集,以更新总集得到当前阶段的总集;而若检测到通过知识蒸馏算法得到的损失值大于损失阈值,且当前阶段的迭代次数未达到最大迭代次数,则返回步骤S301对模型再次进行迭代更新,直至通过知识蒸馏算法得到的损失值小于等于损失阈值,或者当前阶段的迭代次数达到最大迭代次数,结束当前阶段的迭代更新过程,进入下一阶段训练模型。
可理解的,本实施例在增量阶段逐渐向模型提供新类别,并结合从此前的总集中采样获得的旧类别,对模型进行半监督学习,半监督学习得到的模型可以对所有见过的样本类别(包括各增量阶段逐渐加入的新类别和此前的旧类别)进行准确分类。
步骤S40,在模型训练过程结束后,输出训练完成的目标模型,以利用目标模型对所有见过类别进行分类,其中,该模型训练过程包含一个基本阶段和多个增量阶段。
可理解的,本实施例具有自训练的SSFSCIL过程如下:
对于第二阶段(即第一个增量阶段),从总集中采样得到第二阶段的累积训练集,结合第二阶段获得的增量训练集,对模型进行半监督学习,得到第二阶段的模型;根据增量训练集更新总集,得到第二阶段的总集。可理解的,在半监督学习过程中,将未标记数据样本包含在每个新类别中,可以显著提高SSFSCIL算法的性能。
当一个新的增量阶段开始时,从上一阶段的总集中采样获得累积训练集,进一步地在获取到增量阶段的增量训练集时,重复第二阶段的半监督学习过程,直至完成所有阶段,将最后一个阶段得到的模型作为目标模型输出,此时得到的目标模型具有较高准确率,且具有对所有见过类别进行分类的能力。
由上可知,本实施例提供的半监督的小样本类别增量学习方法,首先在大规模标记数据集对始化模型进行训练学习,然后在每个增量阶段中,从此前的总集中采样获得累积训练集,并结合由标记数据集和未标记数据集构成的增量训练集对模型进行半监督学习,逐步向模型引入新类别,相较于现有技术中的小样本类别增量学习方法,本实施例提供的半监督的小样本类别增量学习方法可以在少量标记数据样本和大量未标记数据样本的情况下增量学习新类别,同时避免大篇幅遗忘先前学习过的旧类别,提高了小样本类别的分类性能。
基于同一发明构思,如图3所示,本发明一实施例还提供了一种半监督的小样本类别增量学习装置,包括初始化模块110、基本阶段模块120、增量阶段模块130和模型输出模块140,各功能模块的详细说明如下:
初始化模块110,用于构建初始模型和初始总集。
基本阶段模块120,用于在基本阶段时,利用基本阶段获得的基础数据集对初始模型进行训练学习获得基本阶段的模型,并将基础数据集加入初始总集获得基本阶段的总集。
增量阶段模块130,用于在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的增量训练集和累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集;其中,该增量训练集包含标记数据集和未标记数据集。
模型输出模块140,用于在模型训练过程结束后,输出训练完成的目标模型,以利用目标模型对所有见过类别进行分类;其中,该模型训练过程包含一个基本阶段和多个增量阶段。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
进一步地,所述增量阶段模块130包括以下子模块,各功能子模块的详细说明如下:
模型更新子模块,用于对于每一个增量阶段,从上一阶段的总集中采样获得当前阶段的累积训练集,并在未标记数据集为非空集时,利用当前阶段的累积训练集和标记数据集对上一阶段的模型进行更新,得到迭代更新后的模型。
数据集更新子模块,用于通过迭代更新后的模型预测未标记数据集,从未标记数据集中选取至少一个未标记数据样本和对应的伪标签加入标记数据集中,并从未标记数据集中移除,以更新增量训练集。
条件检测子模块,用于检测当前阶段是否满足迭代更新的结束条件。
迭代更新子模块,用于若当前阶段满足迭代更新的结束条件,则结束当前阶段的迭代更新过程,并输出当前阶段的模型,并将更新后的增量训练集加入上一阶段的总集,得到当前阶段的总集;若当前阶段不满足迭代更新的结束条件,则利用当前阶段更新后的增量训练集和累积训练集对模型再次进行迭代更新,直至当前阶段满足迭代更新的结束条件,输出当前阶段的模型,并将更新后的增量训练集加入上一阶段的总集,得到当前阶段的总集。
进一步地,所述条件检测子模块包括以下单元,各功能单元的详细说明如下:
知识蒸馏单元,用于通过知识蒸馏算法计算损失值,并检测损失值是否小于等于损失阈值。
损失值检测单元,用于若损失值小于等于损失阈值,则确定当前阶段满足迭代更新的结束条件;否则检测当前阶段的迭代次数是否达到最大迭代次数。
迭代次数检测单元,用于若当前阶段的迭代次数达到最大迭代次数,则确定当前阶段满足迭代更新的结束条件;否则确定当前阶段不满足迭代更新的结束条件。
基于同一发明构思,本发明一实施例还提供了一种用于图像数据的分类识别方法,具体包括以下步骤:
步骤一,构建用于图像数据分类的初始卷积神经网络模型。
步骤二,采用上述任一实施例中的半监督的小样本类别增量学习方法,利用基本数据集和增量数据集对初始卷积神经网络模型进行半监督学习,获得目标卷积神经网络模型;其中,增量数据集包含标记数据集和未标记数据集。
步骤三,获取包含多个待识别图像的图像数据集,通过目标卷积神经网络模型对图像数据集中所有待识别图像进行分类识别,以获得每一个待识别图像的类别。
为验证本实施例中技术方案的有效性,下面结合具有自训练的SSFSCIL算法描述实现SSFSCIL的应用算例,以对SSFSCIL方法的效果进行验证分析。
本实施例中具有自训练的SSFSCIL算法描述如下:
算法一:具有自训练的SSFSCIL算法
5:Else
16:Else
18:End For
19:End For
首先,基于现有的图像分类数据库如Mini-ImageNet数据库、CUB200数据库,构建基本阶段的基本数据集和增量阶段的训练集。
其中,Mini-ImageNet数据库是ImageNet的一个子集,每100个类包含600张图像,图像的大小为84×84。CUB200数据库包含超过200种鸟类类别的约6000张训练图像和6000张测试图像,且图像的大小被调整到256×256,再裁剪到224×224作为训练。
对于Mini-ImageNet数据库,选择60个类作为基础类别,40个类作为新颖类别,并采用5-way 5-shot的方式将40个类分为8个阶段进行增量学习,此时模型训练过程包含1个用于基本类别学习的基本阶段,以及8个用于新颖类别学习的增量阶。对于CUB200数据库,选择100个类作为基础类,100个类作为新颖类别,并采用10-way 5-shot的方式将100个类分为10个阶段进行增量学习,此时模型训练过程包含1个用于基本类别学习的基本阶段,以及10个用于新颖类别学习的增量阶段。
也即,对于学习新颖类别的阶段,从每个阶段的训练集中随机选择5个数据样本来构建标记数据集,来构造5-way 5-shot或10-way 5-shot的任务,其余未选定的数据样本选取预设数量的数据样本,例如50个数据样本将其标签丢弃来构建未标记数据集。
然后,选择网络模型,并设置网络模型的学习速率和迭代次数。
对于Mini-ImageNet数据库,使用ResNet-32网络模型,且第一阶段的学习速率从0.1开始,在迭代次数分别达到80和100时,学习速率除以10,剩余增量的学习速率设置为0.001,最大迭代次数设置为40。对于CUB200数据库,使用ResNet-32网络模型,且第一阶段的学习速率从0.001开始,在迭代次数分别达到80和120时学习速率除以10,剩余阶段的学习速率设置为0.001,最大迭代次数设置为40。
当未标记数据集为非空集时,在每次迭代后,从未标记数据集中选取3个未标记数据样本加入标记数据集,从而更新增量训练集,并使用随机梯度下降算法训练模型,每个增量阶段输入的累积训练集最多包含500个数据样本。
表1 有监督训练方法和半监督训练方法的分类准确度对比(%)
最后,基于通过半监督的iCaRL分类器、半监督的NCM分类器和半监督的CNN网络进行增强学习来实现SSFSCIL方法,以获得不同数据库对应的分类识别结果。
在表1中,比较了利用iCaRL、NCM和NCM-CNN这三种有监督训练方法实现的FSCIL方法与利用SS-iCaRL、SS-NCM和SS-NCM-CNN这三种半监督训练方法实现的SSFSCIL方法,在CUB200数据库上获得的分类准确度,结果表明,相较于FSCIL方法,SSFSCIL方法在CUB200数据库上具有显著的性能,也即分类准确度更高。
可见,在增量阶段中引入无标记数据样本的新类别进行增量学习,可以提高小样本类别分类识别的性能。本实施例的SSFSCIL方法有利于解决医学图像分析和汽车自动驾驶等应用***中存在的复杂、具有挑战性的问题。
此外,本实施例还验证了在每个增量阶段加入不同数量的未标记数据样本对SSFSCIL方法的分类性能所造成的影响。
表2 不同数量的未标记数据样本时不同半监督训练方法的分类准确度对比(%)
在表2中,比较了在每个增量阶段中分别添加25、50和75个未标记数据样本,不同半监督训练方法所实现的SSFSCIL方法,在Mini-ImageNet数据库上获得的分类准确度,当未标记数据样本的数量为50时,分类准确度较好。
需要说明的是,还可以基于其他图像数据库,如CIFAR100数据库,来验证实施例中技术方案的有效性。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明实施例的,不同方面的许多其它变化,为了简明它们没有在细节中提供。
本发明实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (8)
1.一种半监督的小样本类别增量学习方法,其特征是,包括:
构建初始模型和初始总集;
在基本阶段时,利用基本阶段获得的基础数据集对所述初始模型进行训练学习获得所述基本阶段的模型,并将所述基础数据集加入所述初始总集获得基本阶段的总集;
在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的所述增量训练集和所述累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集;其中,所述增量训练集包含标记数据集和未标记数据集;
在模型训练过程结束后,输出训练完成的目标模型,以利用所述目标模型对所有见过类别进行分类;其中,所述模型训练过程包含一个所述基本阶段和多个所述增量阶段。
2.根据权利要求1所述的半监督的小样本类别增量学习方法,其特征在于,所述在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的所述增量训练集和所述累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集,包括:
对于每一个增量阶段,从上一阶段的总集中采样获得当前阶段的累积训练集,并在未标记数据集为非空集时,利用当前阶段的累积训练集和标记数据集对上一阶段的模型进行更新,得到迭代更新后的模型;
通过迭代更新后的模型预测所述未标记数据集,从所述未标记数据集中选取至少一个未标记数据样本和对应的伪标签加入所述标记数据集中,并从所述未标记数据集中移除,以更新所述增量训练集;
检测当前阶段是否满足迭代更新的结束条件;
若当前阶段满足迭代更新的结束条件,则结束当前阶段的迭代更新过程,并输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集;
若当前阶段不满足迭代更新的结束条件,则利用当前阶段更新后的所述增量训练集和所述累积训练集对模型再次进行迭代更新,直至当前阶段满足迭代更新的结束条件,输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集。
3.根据权利要求2所述的半监督的小样本类别增量学习方法,其特征在于,所述检测当前阶段是否满足迭代更新的结束条件,包括:
通过知识蒸馏算法计算损失值,并检测所述损失值是否小于等于损失阈值;
若所述损失值小于等于损失阈值,则确定当前阶段满足迭代更新的结束条件;否则检测当前阶段的迭代次数是否达到最大迭代次数;
若当前阶段的迭代次数达到最大迭代次数,则确定当前阶段满足迭代更新的结束条件;否则确定当前阶段不满足迭代更新的结束条件。
5.一种半监督的小样本类别增量学习装置,其特征在于,包括:
初始化模块,用于构建初始模型和初始总集;
基本阶段模块,用于在基本阶段时,利用基本阶段获得的基础数据集对所述初始模型进行训练学习获得所述基本阶段的模型,并将所述基础数据集加入所述初始总集获得基本阶段的总集;
增量阶段模块,用于在每一个增量阶段时,从上一阶段的总集中采样获得当前阶段的累积训练集,利用当前阶段获取的所述增量训练集和所述累积训练集对上一阶段的模型进行半监督学习,获取当前阶段的模型,并更新当前阶段的总集;其中,所述增量训练集包含标记数据集和未标记数据集;
模型输出模块,用于在模型训练过程结束后,输出训练完成的目标模型,以利用所述目标模型对所有见过类别进行分类;其中,所述模型训练过程包含一个所述基本阶段和多个所述增量阶段。
6.根据权利要求5所述的半监督的小样本类别增量学习装置,其特征在于,所述增量阶段模块包括:
模型更新子模块,用于对于每一个增量阶段,从上一阶段的总集中采样获得当前阶段的累积训练集,并在未标记数据集为非空集时,利用当前阶段的累积训练集和标记数据集对上一阶段的模型进行更新,得到迭代更新后的模型;
数据集更新子模块,用于通过迭代更新后的模型预测所述未标记数据集,从所述未标记数据集中选取至少一个未标记数据样本和对应的伪标签加入所述标记数据集中,并从所述未标记数据集中移除,以更新所述增量训练集;
条件检测子模块,用于检测当前阶段是否满足迭代更新的结束条件;
迭代更新子模块,用于若当前阶段满足迭代更新的结束条件,则结束当前阶段的迭代更新过程,并输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集;若当前阶段不满足迭代更新的结束条件,则利用当前阶段更新后的所述增量训练集和所述累积训练集对模型再次进行迭代更新,直至当前阶段满足迭代更新的结束条件,输出当前阶段的模型,并将更新后的所述增量训练集加入上一阶段的总集,得到当前阶段的总集。
7.根据权利要求6所述的半监督的小样本类别增量学习装置,其特征在于,所述条件检测子模块包括:
知识蒸馏单元,用于通过知识蒸馏算法计算损失值,并检测所述损失值是否小于等于损失阈值;
损失值检测单元,用于若所述损失值小于等于损失阈值,则确定当前阶段满足迭代更新的结束条件;否则检测当前阶段的迭代次数是否达到最大迭代次数;
迭代次数检测单元,用于若当前阶段的迭代次数达到最大迭代次数,则确定当前阶段满足迭代更新的结束条件;否则确定当前阶段不满足迭代更新的结束条件。
8.一种用于图像数据的分类识别方法,其特征在于,包括:
构建用于图像数据分类的初始卷积神经网络模型;
采用权利要求1至4中任一项所述的半监督的小样本类别增量学习方法,利用基本数据集和增量数据集对所述初始卷积神经网络模型进行半监督学习,获得目标卷积神经网络模型;其中,所述增量数据集包含标记数据集和未标记数据集;
获取包含多个待识别图像的图像数据集,通过所述目标卷积神经网络模型对所述图像数据集中所有待识别图像进行分类识别,以获得每一个所述待识别图像的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860696.5A CN113344144A (zh) | 2021-07-29 | 2021-07-29 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860696.5A CN113344144A (zh) | 2021-07-29 | 2021-07-29 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113344144A true CN113344144A (zh) | 2021-09-03 |
Family
ID=77480447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110860696.5A Pending CN113344144A (zh) | 2021-07-29 | 2021-07-29 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344144A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114254702A (zh) * | 2021-12-16 | 2022-03-29 | 南方电网数字电网研究院有限公司 | 母线负荷异常数据识别方法、装置、设备、介质和产品 |
CN114386482A (zh) * | 2021-12-15 | 2022-04-22 | 同济大学 | 一种基于半监督增量学习的图片分类***及分类方法 |
CN114580484A (zh) * | 2022-04-28 | 2022-06-03 | 西安电子科技大学 | 一种基于增量学习的小样本通信信号自动调制识别方法 |
CN114785890A (zh) * | 2021-12-31 | 2022-07-22 | 北京泰迪熊移动科技有限公司 | 骚扰电话识别方法及装置 |
CN115438755A (zh) * | 2022-11-08 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 分类模型的增量训练方法、装置和计算机设备 |
CN115827879A (zh) * | 2023-02-15 | 2023-03-21 | 山东山大鸥玛软件股份有限公司 | 基于样本增强和自训练的低资源文本智能评阅方法和装置 |
CN116306875A (zh) * | 2023-05-18 | 2023-06-23 | 成都理工大学 | 基于空间预学习与拟合的排水管网样本增量学习方法 |
CN116977635A (zh) * | 2023-07-19 | 2023-10-31 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
-
2021
- 2021-07-29 CN CN202110860696.5A patent/CN113344144A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114386482A (zh) * | 2021-12-15 | 2022-04-22 | 同济大学 | 一种基于半监督增量学习的图片分类***及分类方法 |
CN114386482B (zh) * | 2021-12-15 | 2023-09-26 | 同济大学 | 一种基于半监督增量学习的图片分类***及分类方法 |
CN114254702A (zh) * | 2021-12-16 | 2022-03-29 | 南方电网数字电网研究院有限公司 | 母线负荷异常数据识别方法、装置、设备、介质和产品 |
CN114785890A (zh) * | 2021-12-31 | 2022-07-22 | 北京泰迪熊移动科技有限公司 | 骚扰电话识别方法及装置 |
CN114580484A (zh) * | 2022-04-28 | 2022-06-03 | 西安电子科技大学 | 一种基于增量学习的小样本通信信号自动调制识别方法 |
CN115438755A (zh) * | 2022-11-08 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 分类模型的增量训练方法、装置和计算机设备 |
CN115438755B (zh) * | 2022-11-08 | 2024-04-02 | 腾讯科技(深圳)有限公司 | 分类模型的增量训练方法、装置和计算机设备 |
CN115827879A (zh) * | 2023-02-15 | 2023-03-21 | 山东山大鸥玛软件股份有限公司 | 基于样本增强和自训练的低资源文本智能评阅方法和装置 |
CN116306875A (zh) * | 2023-05-18 | 2023-06-23 | 成都理工大学 | 基于空间预学习与拟合的排水管网样本增量学习方法 |
CN116306875B (zh) * | 2023-05-18 | 2023-08-01 | 成都理工大学 | 基于空间预学习与拟合的排水管网样本增量学习方法 |
CN116977635A (zh) * | 2023-07-19 | 2023-10-31 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
CN116977635B (zh) * | 2023-07-19 | 2024-04-16 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113344144A (zh) | 半监督的小样本类别增量学习方法、装置及分类识别方法 | |
CN104217225B (zh) | 一种视觉目标检测与标注方法 | |
CN113688665B (zh) | 一种基于半监督迭代学习的遥感影像目标检测方法及*** | |
CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
JP2018097807A (ja) | 学習装置 | |
CN112734803B (zh) | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 | |
CN112052818A (zh) | 无监督域适应的行人检测方法、***及存储介质 | |
KR20230171966A (ko) | 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체 | |
CN114175068A (zh) | 一种通过使用自适应超参数集的多阶段学习对自动驾驶汽车的机器学习网络进行设备上学习的方法及使用其的设备上学习装置 | |
CN112541372A (zh) | 一种困难样本筛选方法及装置 | |
CN115641529A (zh) | 基于上下文建模与背景抑制的弱监督时序行为检测方法 | |
CN115456166A (zh) | 一种无源域数据的神经网络分类模型知识蒸馏方法 | |
CN111160526A (zh) | 基于mape-d环形结构的深度学习***在线测试方法与装置 | |
CN113283467A (zh) | 一种基于平均损失和逐类选择的弱监督图片分类方法 | |
CN113128410A (zh) | 一种基于轨迹关联学习的弱监督行人重识别方法 | |
CN113177554A (zh) | 甲状腺结节识别与分割方法、***、存储介质及设备 | |
CN116016365B (zh) | 一种加密流量下基于数据包长度信息的网页识别方法 | |
CN116977859A (zh) | 基于多尺度图像切割和实例困难度的弱监督目标检测方法 | |
CN111914949A (zh) | 基于强化学习的零样本学习模型的训练方法及装置 | |
CN113469176B (zh) | 一种目标检测模型训练方法、目标检测方法及其相关设备 | |
Alfaz et al. | A deep convolutional neural network based approach to classify and detect crack in concrete surface using xception | |
CN113408546B (zh) | 基于相互全局上下文注意力机制的单样本目标检测方法 | |
CN109767457A (zh) | 在线多示例学习目标跟踪方法、终端设备及存储介质 | |
Sirhan et al. | Multilabel CNN model for asphalt distress classification | |
CN112001211B (zh) | 对象检测方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |