CN112686305A - 一种自监督学习辅助下的半监督学习方法及*** - Google Patents

Abstract

一种自监督学习辅助下的半监督学习方法，包括以下步骤：将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据；将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；用特征提取网络提取当前输入数据的特征，得到抽象特征；以及把提取的抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入图像类别分类网络和图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。本发明方法提升了半监督学习的图像类别分类性能。

Description

一种自监督学习辅助下的半监督学习方法及***

技术领域

本发明涉及到机器学习算法领域，具体地涉及一种自监督学习辅助下的半监督学习方法及***。

背景技术

当前基于深度学***。但是深度学习模型往往需要海量的带标签的数据，而在实际情况中某些类别样本(例如，异常行为数据)的收集是很困难的，且对大量的样本进行标注通常既耗时又费力。相反，我们人类通常只需要极少数的样本就可以对新的类别进行学习。受人类这种学习模式的启发，机器学习领域很早就提出了半监督学习的概念，即，在大量的样本数据中，只有小部分的数据(通常是10％左右)是带有标签的，带标签的数据和不带标签的数据具有相同的数据分布。半监督学习期望能从少量带标签数据中学习到训练数据的粗略模式分布，通过不断地进行对带标签和不带标签数据的交替式学习，最后达到可以区分所有样本(带/不带标签)的训练结果。近一两年来，深度学习领域又提出了自监督学习的范式。自监督学习不需要对样本进行标注，它仅通过一些自定义的前置任务(pretext task)就可以学习到高层次的视觉语意信息。目前自监督学习通常是用来训练一个初始的模型，这个模型在后续的视觉任务(图像分类、物体识别等)中可以快速进行知识的迁移，只需要少量的样本就可以达到训练的目的。当前，自监督学习和半监督学习通常是面向不同的学习任务而单独进行训练的。自监督学习和半监督学习虽然是两种不同的学习范式，但是从学习目的(刻画从底层(中层(高层模式分布)来看，两者是相融的。

发明内容

本发明提供了一种在自监督学习辅助下的半监督学习方法，可以同时利用带标签和不带标签的数据进行训练，对于带标签的数据，同时使用自监督损失和分类损失进行训练；对于不带标签的数据，仅使用自监督损失进行训练。通过这种联合训练模式可以使得模型在不带标签的数据上取得更好的泛化性能，提升自监督学习模型的分类性能。

本发明的技术方案如下：

根据本发明的一个方面，提供了一种自监督学习辅助下的半监督学习方法，包括以下步骤：S1：获得样本数据：将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据；S2：随机数据翻转并与原数据进行合并：将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；S3：用特征提取网络提取当前输入数据的特征，得到抽象特征；以及S4：把提取的抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入图像类别分类网络和图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。

优选的，在上述半监督学习方法中，在步骤S2中，数据翻转的角度从集合{90°，180°，270°，0°}中进行随机选择。

优选的，在上述半监督学习方法中，在现有的半监督图像分类模型下加入了自监督学习损失函数，使得在模型的训练过程中可以同时利用标注和无标注的图像，其中，自监督学习损失函数表示为：

Loss＝L_l(D_l，θ_l)+μL_u(D_u，θ_u) (1)

其中μ为两项损失函数的调和系数，通常取为0.5，

以及其中，L_l(D_l，θ_l)对应于图像类别分类网络，θ_l为对应的网络参数，仅适用于标注数据D_l，采用交叉熵损失函数，具体如下式(2)所示：

L_l(D_l，θ)＝-∑_ic_i log(p_i) (2)

其中，c_i为样本i的类别，p_i是样本i被分类为类别c_i的概率，

L_u(D_u，θ_u)对应于图像角度翻转分类网络，θ_u为对应的网络参数，适用于标注数据D_l和无标注数据D_u，具体如下式(3)所示：

其中，R为选择角度集合{90°，180°，270°，0°}，r为某一种具体的旋转角度，d^r表示对数据d采用r所代表的旋转形式，L采用交差熵损失函数。

优选的，在上述半监督学习方法中，包括：特征提取网络、图像类别分类网络和图像角度翻转分类网络，其中：特征提取网络，用于提取当前输入数据的特征，得到抽象特征，其中，将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据，将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；以及图像类别分类网络和图像角度翻转分类网络，用于对提取的抽象特征进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入图像类别分类网络和图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。

优选的，在上述半监督学习方法中，图像类别分类网络包括：2个全连接层，每个全连接层包含2048个神经元；以及1个图像分类网络softmax输出层，图像分类网络softmax输出层包含的神经元的个数为待分类类别的个数加1。

优选的，在上述半监督学习方法中，图像角度翻转分类网络包括：2个全连接层，每个全连接层包含2048个神经元；以及1个角度翻转分类网络softmax输出层，其包含4个神经元，输出分别对应{90°，180°，270°，0°}中的一个。

根据本发明的技术方案，产生的有益效果是:

相比于以往的半监督学习方法，本发明提出的自监督辅助下的半监督学习方法在训练阶段可以同时对有标注和无标注数据的分布模式进行学习，使得半无监督学习所依赖的特征提取网络对无标注数据具有更强的泛化能力，从而提升了半监督学习的图像类别分类性能。

下面结合附图，通过实施例在对本发明进一步说明如下：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明提出的自监督学习辅助下的半监督学习方法的流程图；

图2是本发明提出的自监督学习辅助下的半监督学习***的框架图；

图3是自监督学习的图像角度翻转分类网络结构图；

图4是半监督学习的图像类别分类网络结构图。

具体实施方式

本发明的自监督学习辅助下的半监督学习方法中，将自监督学习和半监督学习两者放到同一个学习任务框架下进行训练，通过自监督学习对图像底层/中层视觉信息的提取来提升半监督学习模式下通过少量样本所学习到的模型的泛化能力。

本发明方法利用自监督学习和半监督学习联合训练的模型学习框架，通过在当前流行的半监督学习模型上添加一个额外的损失函数来实现，即，在现有的半监督图像分类模型下加入了自监督学习损失函数，使得在模型的训练过程中可以同时利用标注和无标注的图像，从而提升了半监督图像分类模型对未标注图像的泛化能力。

本发明的在自监督学习辅助下的半监督学习方法的原理是：因为自监督学习不需要额外的样本标签，它可以利用数据集中大量无标签的样本来训练特征提取网络；由于在模型框架中自监督学习和半监督学习使用同一个特征提取网络，因此半监督学习也具备了自监督学习从大量无标签样本中学习到的模式提取能力，从而半监督学习的分类性能可以很好地推广到没有标签的样本上。

以往的方法在半监督学习的初始阶段只利用有标注的样本数据训练分类器，本发明的方法会同时使用带标注和不带标注的数据来训练特征提取网络；以往的方法在训练阶段只有一个类别分类损失监督项，本发明的方法包括一个类别分类损失监督项和一个角度翻转分类损失自监督项。

对于半监督图像分类任务，训练样本包括有标注数据和无标注数据。本发明的自监督辅助下的半监督学习方法可以同时处理这两类数据。首先将训练样本划分为若干个批次，每个批次包括标注数据或者无标注数据；将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；其次用特征提取网络提取当前输入数据的特征，得到抽象特征；然后把提取的抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入上述两个分类网络，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络。

本发明将自监督学习和半监督学习纳入到同一个模型训练框架下，同时利用标注数据和无标注数据来训练特征提取网络，从而提升半监督图像分类网络对无标注数据的分类性能。图1为本发明的自监督学习辅助下的半监督学习方法的流程图，图2是本发明提出的自监督学习辅助下的半监督学习***的框架图，如图1和图2所示，本发明方法包括以下步骤：

S1：获得样本数据(标注数据或无标注数据)。具体地，将训练样本划分为若干个批次，每个批次包括标注数据2或无标注数据1；

S2：随机数据翻转并与原数据进行合并。具体地，将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据，即，训练数据D_t。其中，翻转的角度从集合{90°，180°，270°，0°}中进行随机选择；

S3：用特征提取网络提取当前输入数据的特征，得到抽象特征。具体地，用特征提取网络f_θ(图2中3所示)对D_t进行特征提取，得到抽象特征F_t。f_θ可以取为VGG-16网络(“VeryDeep Convolutional Networks for Large-Scale Image Recognition”，KarenSimonyan，Andrew Zisserman，arxiv.org/abs/1409.1556/)；

S4：把提取的抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据(即带标签的数据)，则将抽象特征同时送入图像类别分类网络(对应图1中的图像分类网络)和图像角度翻转分类网络(对应图1中的角度翻转分类网络)进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。如图所示，若D_t为标注数据1，对应图1中的带标签的数据，则将F_t同时送入图像类别分类网络C(图2中5所示)和图像角度翻转分类网络

(图2中4所示)，进行图像类别和图像角度翻转判断；若D_t为无标注数2，则只将F_t送入到图像角度翻转分类网络

进行图像角度翻转判断。

本发明的自监督学习辅助下的半监督学习***，包括：特征提取网络、图像类别分类网络和图像角度翻转分类网络，其中：

特征提取网络，用于提取当前输入数据的特征，得到抽象特征。其中，将训练样本划分为若干个批次，每个批次包括标注数据2或无标注数据1；将当前批次的数据随机翻转，再与原数据进行合并，作为当前输入数据；

图像类别分类网络和图像角度翻转分类网络，用于对提取的抽象特征进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将抽象特征同时送入图像类别分类网络和图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将抽象特征送入图像角度翻转分类网络，进行图像角度翻转判断。

其中，图像类别分类网络C的结构如图4所示，具体包括：2个全连接层8，每个全连接层8包含2048个神经元；1个图像分类网络softmax输出层9，其包含的神经元的个数为待分类类别的个数加一。图像角度翻转分类网络

的结构如图3所示，具体包括：2个全连接层6，每个全连接层6包含2048个神经元；1个角度翻转分类网络softmax输出层7，其包含4个神经元，输出分别对应{90°，180°，270，0°}中的一个。

其中，本发明的自监督学习辅助下的半监督学习方法的损失函数如式1所示：

Loss＝L_l(D_l，θ_l)+μL_u(D_u，θ_u) (1)

其中式1中μ为两项损失函数的调和系数，通常取为0.5，L_l(D_l，θ_l)对应于图像类别分类网络C(θ_l为对应的网络参数)，仅适用于标注数据D_l，采用交叉熵损失函数，具体如式2所示的形式：

L_l(D_l，θ)＝-∑_ic_i log(p_i) (2)

其中c_i为样本i的类别，p_i是样本i被分类为类别c_i的概率。

L_u(D_u，θ_u)对应于图像角度翻转分类网络

(θ_u为对应的网络参数)，适用于标注数据D_i和无标注数据D_u，采用如式3所示的形式：

其中R为选择角度集合{90，180°，270，0°}，r为某一种具体的旋转角度，d^r表示对数据d采用r所代表的旋转形式，L采用交差熵损失函数。

训练完成后，进行推理时就不需要对输入数据进行翻转，同时特征提取网络输出的特征，只需要输入到图像类别分类网络进行推理即可。具体地说，推理过程包括下述2个步骤：

1.)把要进行推理的图像输入到特征提取网络，提取图像特征；

2.)把提取的图像特征输入到图像类别分类网络，得到分类结果。

本发明的方法在ILSVRC-2012(“Imagenet Large Scale Visual RecognitionChallenge”，Olga Russakovsky，Jia Deng，Hao Su et al，International Journal ofComputer Vision)半监督学习数据集上进行了算法验证，在训练时标注数据只有10％的情况下，Top-5的mAP(mean Average Precision)为83.64％。本发明的方法与现有的半监督学习方法在ILSVRC-2012数据集上进行了性能比较，结果如表1所示。比较结果表明本发明的方法在半监督图像分类任务上优于一些半监督学习方法。

表1.在ILSVRC-2012数据集上图像分类性能比较

参与比较方法	ILSVRC-2012数据集10％数据标注下mAP
		Pseudolabels<sup>[1]</sup>	82.41
VAT<sup>[2]</sup>	82.78
		本发明方法	83.64

参与比较的文献：

[1]Dong-Hyun Lee.Pseudo-label:The simple and efficient semi-supervised learning method for deep neural networks.ICML 2013Workshop:Challenges in Representation Learning(WREPL),07,2013.

[2]Takeru Miyato,Shin-ichih Maeda,Masanori Koyama,and ShinIshii.Virtual adversarial training:A regularization method for supervised andsemi-supervised learning.arXiv preprint arXiv:1704.03976,2017.

以上说明是依据本发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

Claims (6)

1.一种自监督学习辅助下的半监督学习方法，其特征在于，包括以下步骤：

S1：获得样本数据：将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据；

S2：随机数据翻转并与原数据进行合并：将当前批次的数据随机翻转，再与所述原数据进行合并，作为当前输入数据；

S3：用特征提取网络提取所述当前输入数据的特征，得到抽象特征；以及

S4：把提取的所述抽象特征送入到图像类别分类网络或者图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将所述抽象特征同时送入所述图像类别分类网络和所述图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将所述抽象特征送入所述图像角度翻转分类网络，进行图像角度翻转判断。

2.根据权利要求1所述的半监督学习方法，其特征在于，在步骤S2中，数据翻转的角度从集合{90°，180°，270°，0°}中进行随机选择。

3.根据权利要求1所述的半监督学习方法，其特征在于，在现有的半监督图像分类模型下加入了自监督学习损失函数，使得在模型的训练过程中可以同时利用标注和无标注的图像，其中，所述自监督学习损失函数表示为：

Loss＝L_l(D_l，θ_l)+μL_u(D_u，θ_u) (1)

其中μ为两项损失函数的调和系数，通常取为0.5，

以及其中，L_l(D_l，θ_l)对应于所述图像类别分类网络，θ_l为对应的网络参数，仅适用于标注数据D_l，采用交叉熵损失函数，具体如下式(2)所示：

L_l(D_l，θ)＝-∑_ic_ilog(p_i) (2)

其中，c_i为样本i的类别，p_i是样本i被分类为类别c_i的概率，

L_u(D_u，θ_u)对应于图像角度翻转分类网络，θ_u为对应的网络参数，适用于标注数据D_l和无标注数据D_u，具体如下式(3)所示：

其中，R为选择角度集合{90，180°，270°，0°}，r为某一种具体的旋转角度，d^r表示对数据d采用r所代表的旋转形式，L采用交差熵损失函数。

4.一种自监督学习辅助下的半监督学习***，其特征在于，包括：特征提取网络、图像类别分类网络和图像角度翻转分类网络，其中：

所述特征提取网络，用于提取当前输入数据的特征，得到抽象特征，其中，将训练样本划分为若干个批次，每个批次包括标注数据或无标注数据，将当前批次的数据随机翻转，再与原数据进行合并，作为所述当前输入数据；以及

所述图像类别分类网络和所述图像角度翻转分类网络，用于对提取的所述抽象特征进行图像类别和图像角度翻转判断，若输入数据为标注数据，则将所述抽象特征同时送入所述图像类别分类网络和所述图像角度翻转分类网络进行图像类别和图像角度翻转判断，若输入数据为无标注数据，则只将所述抽象特征送入所述图像角度翻转分类网络，进行图像角度翻转判断。

5.根据权利要求4所述的半监督学习***，其特征在于，所述图像类别分类网络包括：

2个全连接层，每个所述全连接层包含2048个神经元；以及

1个图像分类网络softmax输出层，所述图像分类网络softmax输出层包含的神经元的个数为待分类类别的个数加1。

6.根据权利要求4所述的半监督学习***，其特征在于，所述图像角度翻转分类网络包括：

2个全连接层，每个所述全连接层包含2048个神经元；以及

1个角度翻转分类网络softmax输出层，其包含4个神经元，输出分别对应{90°，180°，270°，0°}中的一个。

Images