CN113657455B - 一种基于三重网络与标注一致性正则化的半监督学习方法 - Google Patents

Abstract

本发明公开了一种基于三重网络与标注一致性正则化的半监督学习方法，包括以下步骤：步骤一、输入图像数据集及其对应的标签集；步骤二、对有标签和未标注数据集进行预处理；步骤三、构建并训练自适应视觉机制的深度网络，用于提取图像数据集的深度特征；步骤四、构建孪生网络，利用标注数据与无标注数据的深度特征，获取正向传播结果与伪标签；步骤五、利用正向传播结果与伪标签，构建训练标注数据和无标注数据的损失函数，对孪生网络进行半监督训练；本发明构造三重网络对标注数据不足的数据集进行训练，首先建立自适应视觉机制的生成对抗网络，对图像数据集进行无监督学习，用于更有效地特征提取，可以消除异类标注数据与无标注数据特征提取的差异；然后，基于标注一致性原则建立并训练孪生网络，可以消除同类标注数据与无标注数据特征判别的差异，减少网络训练参数数量，更有效地利用无标注数据进行半监督学习。

Description

一种基于三重网络与标注一致性正则化的半监督学习方法

技术领域

本发明属于深度学习技术领域，具体涉及一种基于三重网络与标注一致性正则化的半监督学习方法。

背景技术

近年来，深度学习方法使人工智能领域取得飞速发展，在智能、神经、思维等领域，对信息化具有“范式”突破意义。深度学习技术是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。深度学习方法应用通常使用了大量的标注数据，学习完全监督模型，并且已经获得了较好的应用效果。但是，这种完全监督的学习成本昂贵且费时，数据标注必须由具有相关领域专业知识的研究人员手动完成。由于某些图像数据集具有高类内多样性与高类间相似性的特点，数据难以准确标注。

因此，针对实际场景中深度学习不同任务，由于数据来源的多样性，通常只有训练集的子集具有标签，其余数据均不具有标签。这种情况发生在各类任务中，尤其对于图像多分类任务。在标注监督信息不足的情况下，模型无法充分拟合，导致提取标注数据与无标注数据特征时存在差异，无法充分利用数据间的相关性，得到泛化能力较强的模型。

数据的标注问题一直是计算机视觉和人工智能的重点研究领域，为了提高深度学习模型的效率，需要消除不充分拟合模型对模型特征提取的差异，研究标注一致性的半监督多分类技术。

目前的现有技术提取标注数据与无标注数据时存在差异，因此迫切需要一种标注一致性的半监督学习方法，对数据集中的无标注数据进行充分学习，为后续实际场景标注数据不足的深度学习多分类任务提供便利。

发明内容

本发明所要解决的技术问题在于针对现有技术中的不足，提供一种基于三重网络与标注一致性正则化的半监督学习方法，其结构简单、设计合理。

考虑到实际场景具有信息不完备的特点，获取的数据普遍存在标注缺少的现象，造成监督信息严重不足，导致提取标注数据与无标注数据时存在差异，限制深度学习网络分类的训练效果和泛化能力。为解决上述技术问题，本发明采用的技术方案是：基于三重网络与标注一致性正则化的半监督学习方法，其特征在于：包括以下步骤：

步骤一、输入图像数据集及其对应的标签集：

步骤101、输入图像数据集V，具体地，V＝{v₁,...v_i,...v_l}，分为标注数据X＝{x₁,...x_f,...x_n}与无标注数据U＝{u₁,...u_j,...u_m}，其中，vi表示第i个图像样本数据，1≤i≤l，1≤f≤n，1≤j≤m，且l＝m+n，n、m与l均为正整数；

步骤102、输入图像集V对应的标签集，标注数据X＝{x₁,...x_i,...x_n}的标签为p＝{p₁,...p_i,...p_n}，无标注数据U＝{u₁,...u_j,...u_m}不具有标签。

步骤二、对有标签和未标注数据集进行预处理：

步骤201、对图像标注数据X和未标注数据U进行数据增强，其中，对于标注数据，进行单次增强，得到增强后的数据X′。对于无标注数据，进行K次随机增强，得到增强后的数据U′；

步骤202、将数据X′和U′混合，随机排列得到数据组合W，其中，增强数据的标签与原标签一致。

步骤三、构建并训练自适应视觉机制的深度网络，用于提取图像数据集的深度特征：

步骤301、构建生成对抗网络G，分为数据生成器与鉴别器。

步骤302、在生成对抗网络中使用自卷积层，基于空间特殊性，频域无关性的原则，设置自适应卷积核生成函数。依据输入的图像特征，输出与特征图尺寸大小相同的卷积核，控制缩放比例调整参数量，对特征图通道进行缩放。

步骤303、将图像集V中标注数据的标签删除，利用无标注的全部图像集V对生成对抗网络G进行无监督学习，使生成器生成的伪数据特征接近真实的图像特征,利用自卷积层，增强鉴别器的特征表示能力。

步骤304、将训练好的生成对抗网络G的鉴别器G_d作为特征提取器F_d，用于提取目标图像标注数据X＝{x₁,...x_f,...x_n}与无标注数据U＝{u₁,...u_j,...u_m}的深度特征x_labeled＝F_d(x_f)与x_unlabeled＝F_d(u_j)。

步骤四、构建孪生网络，利用标注数据与无标注数据的深度特征，获取正向传播结果与伪标签：

步骤401、构建两个浅层分类网络Net₁与Net₂，作为孪生网络，输入数据组合W；

步骤402、对于标注数据，输入增强后的数据X′与对应的标签p，得到深度特征x_labeled＝F_d(X′)，利用孪生网络进行预测，正向传播结果为其中，p_d1和p_d2为Net₁与Net₂的组合预测，w为超参数；

步骤403、对于未标注数据，输入增强后的数据U′，得到深度特征x_unlabeled＝F_d(U′)，利用孪生网络进行预测，将输出加权平均作为正向传播结果p_j，其中，/>与/>为孪生网络对无标注数据的预测，θ为网络训练参数。

步骤404、对无标注数据的预测进行锐化，得到伪标签q。其中，锐化操作具体为T是锐化参数，K是增强次数，P(U；θ)是网络对每个类别的预测概率。

步骤405、将孪生网络预测的伪标签q进行标签融合。具体地，融合后的伪标签为：其中，/>为网络Net₁锐化的伪标签，/>为网络Net₂锐化的伪标签，λ服从根据实际数据集设置的概率分布。

步骤五、利用正向传播结果与伪标签，构建训练标注数据和无标注数据的损失函数，对孪生网络进行半监督训练：

步骤501、建立半监督标注一致性正则化损失函数，按照每个类别计算标注数据与无标注数据差异的正则项，消除同类别标注数据与无标注数据的差异，如下所示：

其中，num为类别数量，x_labeled、x_unlabeled为图像标注数据与未标注数据的深度特征，class-b为第b个类别；

步骤502、对于增强后的已标注数据X′，建立损失函数如下所示：

步骤503、对于增强后的无标注数据U′，建立损失函数如下所示：

其中，|X′|等于每批次样本数量，|U′|等于K倍每批次样本数量，是交叉熵函数，x,p是增强的已标注数据和标签，u,q是增强的未标注数据和伪标签。

步骤504、整体损失函数L是三者的加权，如下所示：

L＝L_X+λ_UL_U+β_ULoss_{semi-supervised}

其中，λ_U、β_U为超参数。利用整体损失函数L，经过不停迭代，将训练好的孪生网络模型进行分类测试。

本发明与现有技术相比具有以下优点：

1、本发明的结构简单、设计合理，实现及使用操作方便。

2、本发明采用使用自适应视觉机制的生成对抗网络对数据集进行无监督学习，将训练好的模型进行数据集深度特征提取，可以有效消除不同类别间标注数据与无标注数据特征提取的差异性，且特征提取与选择更具有鲁棒性，保护图像信息的完整性，提高半监督多分类性能。

3、本发明基于标注一致性的思想，使用孪生网络进行半监督学习，可以有效消除同类别间标注数据与无标注数据特征判别的差异性，避免了因特征差异而引起的分类结果不同，且训练参数量相对较小，拥有更高的有效性与正确性。

综上所述，本发明结构简单、设计合理。本发明构造三重网络对标注数据不足的数据集进行训练，首先建立自适应视觉机制的生成对抗网络，对图像数据集进行无监督学习，用于更有效地特征提取，可以消除异类标注数据与无标注数据特征提取的差异；然后，基于标注一致性原则建立并训练孪生网络，可以消除同类标注数据与无标注数据特征判别的差异，减少网络训练参数数量，更有效地利用无标注数据进行半监督学习。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

如图1所示，本发明包括以下步骤：

步骤一、输入图像数据集及其对应的标签集：

步骤101、输入图像数据集V，具体地，V＝{v₁,...v_i,...v_l}，分为标注数据X＝{x₁,...x_f,...x_n}与无标注数据U＝{u₁,...u_j,...u_m}，其中，v_i表示第i个图像样本数据，1≤i≤l，1≤f≤n，1≤j≤m，且l＝m+n，n、m与l均为正整数；

步骤102、输入图像集V对应的标签集，标注数据X＝{x₁,...x_i,...x_n}的标签为p＝{p₁,...p_i,...p_n}，无标注数据U＝{u₁,...u_j,...u_m}不具有标签。

步骤二、对有标签和未标注数据集进行预处理：

步骤201、对图像标注数据X和未标注数据U进行数据增强，其中，对于标注数据，进行单次增强，得到增强后的数据X′。对于无标注数据，进行K次随机增强，得到增强后的数据U′；

步骤202、将数据X′和U′混合，随机排列得到数据组合W，其中，增强数据的标签与原标签一致。

步骤三、构建并训练自适应视觉机制的深度网络，用于提取图像数据集的深度特征：

步骤301、构建生成对抗网络G，分为数据生成器与鉴别器，其中生成对抗网络使用DCGAN，具体采用Resnet-18。

步骤302、在生成对抗网络中使用自卷积层，基于空间特殊性，频域无关性的原则，设置自适应卷积核生成函数。依据输入的图像特征，输出与特征图尺寸大小相同的卷积核，控制缩放比例调整参数量，使用1x1卷积核对特征图通道进行缩放，可以得到特征图，其中，输出特征通道数为(Z*Z*Gs)，Z为后续自卷积核的尺寸大小，Gs代表自卷积操作的分组数。

步骤303、将图像集V中标注数据的标签删除，利用无标注的全部图像集V对生成对抗网络G进行无监督学习，使生成器生成的伪数据特征接近真实的图像特征,利用自卷积层，增强鉴别器的特征表示能力。

步骤304、将训练好的生成对抗网络G的鉴别器G_d去掉全连接层，保留卷积层作为特征提取器F_d，用于提取目标图像标注数据X＝{x₁,...x_f,...x_n}与无标注数据U＝{u₁,...u_j,...u_m}的深度特征x_labeled＝F_d(x_f)与x_unlabeled＝F_d(u_j)。

步骤四、构建孪生网络，利用标注数据与无标注数据的深度特征，获取正向传播结果与伪标签：

步骤401、构建两个浅层分类网络Net₁与Net₂，作为孪生网络，输入数据组合W，其中浅层分类网络使用VGG-11；

步骤402、对于标注数据，输入增强后的数据X′与对应的标签p，得到深度特征x_labeled＝F_d(X′)，利用孪生网络进行预测，正向传播结果为其中，p_d1和p_d2为Net₁与Net₂的组合预测，w为超参数；

步骤403、对于未标注数据，输入增强后的数据U′，得到深度特征x_unlabeled＝F_d(U′)，利用孪生网络进行预测，将输出加权平均作为正向传播结果p_j，其中，/>与/>为孪生网络对无标注数据的预测，θ为网络训练参数。

步骤404、对无标注数据的预测进行锐化，得到伪标签q。其中，锐化操作具体为T是锐化参数，K是增强次数，P(U；θ)是网络对每个类别的预测概率。

步骤405、将孪生网络预测的伪标签q进行标签融合。具体地，融合后的伪标签为：其中，/>为网络Net₁锐化的伪标签，/>为网络Net₂锐化的伪标签，λ～Beta(α,α)，α根据实际数据集设置服从的概率分布。

步骤五、利用正向传播结果与伪标签，构建训练标注数据和无标注数据的损失函数，对孪生网络进行半监督训练：

步骤501、建立半监督标注一致性正则化损失函数，按照每个类别计算标注数据与无标注数据差异的正则项，消除同类别标注数据与无标注数据的差异，如下所示：

其中，num为类别数量，x_labeled、x_unlabeled为图像标注数据与未标注数据的深度特征，class-b为第b个类别；

步骤502、对于增强后的已标注数据X′，建立损失函数如下所示：

步骤503、对于增强后的无标注数据U′，建立损失函数如下所示：

其中，|X′|等于每批次样本数量，|U′|等于K倍每批次样本数量，是交叉熵函数，x,p是增强的已标注数据和标签，u,q是增强的未标注数据和伪标签。

步骤504、整体损失函数L是三者的加权，如下所示：

L＝L_X+λ_UL_U+β_ULoss_{semi-supervised}

其中，λ_U、β_U为超参数。利用整体损失函数L，经过不停迭代，将训练好的孪生网络模型进行分类测试。

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (1)

1.一种基于三重网络与标注一致性正则化的半监督学习方法，其特征在于，包括以下步骤：

步骤一、输入图像数据集及其对应的标签集：

步骤101、输入图像数据集V，具体地，V＝{v₁,...v_i,...v_l}，分为标注数据X＝{x₁,...x_f,...x_n}与无标注数据U＝{u₁,...u_j,...u_m}，其中，v_i表示第i个图像样本数据，1≤i≤l，1≤f≤n，1≤j≤m，且l＝m+n，n、m与l均为正整数；

步骤102、输入图像集V对应的标签集，标注数据X＝{x₁,...x_i,...x_n}的标签为p＝{p₁,...p_i,...p_n}，无标注数据U＝{u₁,...u_j,...u_m}不具有标签；

步骤二、对有标签和未标注数据集进行预处理：

步骤201、对图像标注数据X和未标注数据U进行数据增强，其中，对于标注数据，进行单次增强，得到增强后的数据X′；对于无标注数据，进行K次随机增强，得到增强后的数据U′；

步骤202、将数据X′和U′混合，随机排列得到数据组合W，其中，增强数据的标签与原标签一致；

步骤三、构建并训练自适应视觉机制的深度网络，用于提取图像数据集的深度特征：

步骤301、构建生成对抗网络G，分为数据生成器与鉴别器；

步骤302、在生成对抗网络中使用自卷积层，基于空间特殊性，频域无关性的原则，设置自适应卷积核生成函数；依据输入的图像特征，输出与特征图尺寸大小相同的卷积核，控制缩放比例调整参数量，对特征图通道进行缩放；

步骤303、将图像集V中标注数据的标签删除，利用无标注的全部图像集V对生成对抗网络G进行无监督学习，使生成器生成的伪数据特征接近真实的图像特征,利用自卷积层，增强鉴别器的特征表示能力；

步骤304、将训练好的生成对抗网络G的鉴别器G_d作为特征提取器F_d，用于提取目标图像标注数据X＝{x₁,...x_f,...x_n}与无标注数据U＝{u₁,...u_j,...u_m}的深度特征x_labeled＝F_d(x_f)与x_unlabeled＝F_d(u_j)；

步骤四、构建孪生网络，利用标注数据与无标注数据的深度特征，获取正向传播结果与伪标签：

步骤401、构建两个浅层分类网络Net₁与Net₂，作为孪生网络，输入数据组合W；

步骤402、对于标注数据，输入增强后的数据X′与对应的标签p，得到深度特征x_labeled＝F_d(X′)，利用孪生网络进行预测，正向传播结果为其中，p_d1和p_d2为Net₁与Net₂的组合预测，w为超参数；

步骤403、对于未标注数据，输入增强后的数据U′，得到深度特征x_unlabeled＝F_d(U′)，利用孪生网络进行预测，将输出加权平均作为正向传播结果其中，/>与/>为孪生网络对无标注数据的预测，θ为网络训练参数；

步骤404、对无标注数据的预测进行锐化，得到伪标签q；其中，锐化操作具体为T是锐化参数，K是增强次数，P(U；θ)是网络对每个类别的预测概率；

步骤405、将孪生网络预测的伪标签q进行标签融合；具体地，融合后的伪标签为：其中，/>为网络Net₁锐化的伪标签，/>为网络Net₂锐化的伪标签，λ服从根据实际数据集设置的概率分布；

步骤五、利用正向传播结果与伪标签，构建训练标注数据和无标注数据的损失函数，对孪生网络进行半监督训练：

步骤501、建立半监督标注一致性正则化损失函数，按照每个类别计算标注数据与无标注数据差异的正则项，消除同类别标注数据与无标注数据的差异，如下所示：

其中，num为类别数量，x_labeled、x_unlabeled为图像标注数据与未标注数据的深度特征，class-b为第b个类别；

步骤502、对于增强后的已标注数据X′，建立损失函数如下所示：

步骤503、对于增强后的无标注数据U′，建立损失函数如下所示：

其中，|X′|等于每批次样本数量，|U′|等于K倍每批次样本数量，是交叉熵函数，x,p是增强的已标注数据和标签，u,q是增强的未标注数据和伪标签；

步骤504、整体损失函数L是三者的加权，如下所示：

L＝L_X+λ_UL_U+β_ULoss_{semi-supervised}

其中，λ_U、β_U为超参数；利用整体损失函数L，经过不停迭代，将训练好的孪生网络模型进行分类测试。