CN109934281A - 一种二分类网络的非监督训练方法 - Google Patents

Abstract

本发明提供了一种二分类网络的非监督训练方法，属于图像处理、深度学习、模式识别领域。本发明通过对样本数据的一系列处理，对聚类网络进行不同阶段的训练，使用训练好的聚类网络对图像进行分类，避免了监督样本的缺乏，数据标注所需数据获取难度过大、成本过高的问题，使聚类网络的训练及分类结果的实现更为简单、高效。

Description

一种二分类网络的非监督训练方法

技术领域

本发明属于图像处理、深度学习、模式识别领域，特别涉及一种二分类网络的非监督训练方法。

背景技术

伴随着深度学习的发展，分类网络被广泛应用于人脸识别、图像检索、公共监测、生物识别、智能汽车、医疗辅助以及遥感探测等诸多领域。得益于深度神经网络优异的特征表征能力，深度分类网络可以获得接近人类的分类性能。

目前的分类网络多为监督学习网络，使用图像和对应标签对网络进行训练(即有监督训练方式)，因此需要大量标注数据。数据标注过程通常需要消耗大量人力和时间。因此，在某些数据获取难度大、成本高的应用领域，监督样本的缺乏成为限制深度分类网络效果的主要因素。

不同于有监督网络，聚类方法不需要监督样本，可以通过对样本集合的分析实现分类。因此，如何实现分类网络的非监督训练的研究具有重要意义。

发明内容

本发明的目的在于解决现有技术中监督学习网络需要大量带标签样本的问题，提出了一种二分类网络的非监督训练方法。

一种二分类网络的非监督训练方法，包括以下步骤：

S1、采集图像构建数据集S，其中，所述数据集包含待聚类图像，所述数据集中图像数量为M，任意图像为I；

S2、构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；

S3、训练聚类网络，在数个阶段训练中生成参与训练的图像的对应标签集，并基于参与训练的图像及对应的标签集对所述聚类网络进行训练，得到最终网络模型训练参数；

S4、将所述数据集输入至训练好的聚类网络，得到所述数据集中图像的分类输出。

进一步地，所述步骤S2包括：

构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；

将所述数据集S中的图像的大小统一为(H，W，C)，随机打乱后输入至所述聚类网络中，其中，H表示图像高度，W表示图像宽度，C表示图像通道数；所述聚类网络输入为四维向量(M，H，W，C)，分类输出类别数为2，所述聚类网络输出为二维张量(M，2)表示的二类聚类输出矩阵V，由所述矩阵V可得一维向量(M，1)表示的预测类别向量L，其中，L中元素L_i表示聚类类别，表示为

L_i＝argmax(V(i,1),V(i,2))

其中，V(i,1)、V(i,2)分别表示矩阵V中对应索引处的元素值。

进一步地，所述步骤S3包括：

S31、将所述数据集S中所有图像的标签设置为(0，0)，与原图像构成第一训练样本集dataset₀对所述聚类网络进行训练，训练损失函数为二范数损失损失函数

其中，G为图像对应标签，V(i)表示矩阵V中对应的第i个图像对应的输出向量；

采用随机梯度下降法训练网络权重，经过s₁步迭代后，得到第一网络权重ω₁；

S32、在所述数据集S中任意选择一个图像作为正样本，将所述正样本的标签设置为(1，0)，对应类别为A，其余图像标签设置为(0，0)，将所述正样本复制M份，与所述数据集一起构成第二训练样本集dataset₁；

将所述第二训练样本集dataset₁中的数据随机打乱作为训练样本，以所述第一网络权重ω₁为初始权重训练网络，经s₂步迭代后，得到第二网络权重ω₂；

S33、将所述步骤S32中训练得到的网络对dataset₀中的图像进行预测，将类别A对应预测值进行大小排序，得到最大的Q个预测值对应的Q张图像，设置其对应标签值为(1，0)，其余图像标签设置为(0，0)，得到第三训练样本集dataset₂；

将所述第三训练样本集dataset₂中的数据随机打乱后作为训练样本，以所述第二网络权重ω₂为初始权重训练网络，经s₃步迭代后，得到第三网络权重ω₃；

S34、将所述步骤S33中训练得到的网络对dataset₂中的图像进行预测，将类别B对应预测值进行大小排序，得到最大的2×Q个预测值对应的2×Q张图像，随机抽取其中Q张图像设置其对应的样本标签为(0，1)，同时保留dataset₂中类别A对应图像及标签，得到由Q个类别A标签和Q个类别B标签以及对应图像构成的第四训练样本集dataset₃；

将所述第四训练样本集dataset₃中的数据作为训练样本，以所述第一网络权重ω₁为初始权重训练网络，经s₄步迭代后，得到第四网络权重ω₄；

S35、根据所述步骤S34中训练得到的网络进行输出分析，生成目标标签，对生成的目标标签进行交换，得到标签集，将所述标签集作为类别标签，对网络进行训练，经s₅步迭代后，得到最终网络权重ω₅。

进一步地，所述步骤S35包括：

S351、根据所述步骤S34中训练得到的网络进行输出分析，生成目标标签；

S352、对生成的目标标签进行交换，得到标签集；

S353、将所述标签集作为类别标签，对网络进行训练，经s₅步迭代后，得到最终网络权重ω₅。

进一步地，所述步骤S351包括：

在所述矩阵V中进行搜索，得到所述矩阵V中的最大值p_max，最大值对应位置为(m,n)；

在n所在维度V(∶，n)中进行搜索，得到该维度中最大的T个标签对应的样本，并将其标签设置为n，其中，：表示包含该索引下所有元素，T为超参数；

将已设置好标签的T个数据从所述数据集S中移除，更新未标注标签数据集为S_new；将已设置好标签的T个数据相应的向量从所述矩阵V中移除，得到矩阵V_new；若n＝0，则S_new中样本的标签设置为B；若n＝1，则S_new中样本的标签设置为A；

得到包含原始图像和对应标签的第五训练样本集(S，G₀)，记为dataset₄，其中，G₀为一维张量(M,1)，表示所述数据集S对应的生成标签集。

进一步地，所述步骤S352包括：

将所述矩阵V根据对应预测类别向量L分为两个子矩阵V₁和V₂，其中，V₁表示L＝(1,0)对应的所有向量组成的矩阵，V₂表示L＝(0,1)对应的所有向量组成的矩阵；

提取V₁和V₂中各自类别对应索引处的预测值，分别得到向量v₁和v₂，分别对向量v₁和v₂中元素大小进行排序，得到各自向量中最小的M×r个预测值及其相应索引i₁和i₂，其中，r为超参数；

交换索引i₁和i₂对应的标签，得到标签集。

本发明的有益效果：本发明提供了一种二分类网络的非监督训练方法，通过对样本数据的一系列处理，对聚类网络进行不同阶段的训练，避免了监督样本的缺乏，数据标注所需数据获取难度过大、成本过高的问题，使聚类网络的训练及分类结果的实现更为简单、高效。

附图说明

图1为本发明实施例提供的流程图。

图2为图1中步骤S3的流程图。

具体实施方式

在描述本发明前，作以下术语定义：

定义1、卷积层

卷积层实现由四维张量(N，K，K，C₁)表示的卷积核与输入进行卷积运算，提取输入的不同特征得到由四维张量(N，H₀，W₀，C₂)表示的输出。其中N、K、C₁分别表示输入特征图数量、卷积核大小和特征图通道数。其输入可以是定义1中的输入层或者定义3中的特征图。其中H₀，W₀表示卷积层输出特征图像的高和宽，C₂表示卷积数目。

定义2、池化层

池化层是一种实现定义4中的特征图下采样的操作。其输入为定义3中的四维张量(N，H_f，W_f，C_f)表示的特征图，输出为H_f，W_f缩小后的特征图。

定义3、激活函数

激活函数是在卷积层后的非线性函数。我们称激活函数后输出的四维张量(N，H_f，W_f，C_f)为特征图。网络中激活函数可选择不同的函数，如定义为f(x)＝max(x,0),f(x)＝tanh(x),

定义4、Softmax层

Softmax层为分类网络输出层处使用的softmax函数，定义为

定义5、全连接层

全连接层是神经网络中每一个神经元都与上一层每个神经元相连接的网络结构。

定义6、学习率

学习率是采用反向传播算法进行模型训练时参数更新量前的系数，用以控制每次参数更新量的大小。

定义7、图像标准化

图像标准化指将图像中每个通道的灰度值范围调整为特定范围之内，定义如下：

其中，

σ表示标准方差，N_p表示图像I的像素数量。

下面结合附图对本发明的实施例做进一步的说明。

请参阅图1，本发明提出了一种二分类网络的非监督训练方法，实施过程通过Tensorflow框架实现，具体通过以下步骤实现：

S1、采集图像构建数据集S，其中，本发明中获取的数据集包含待聚类图像，数据集中图像数量为M，任意图像为I。

本实施例中，数据集S本发明选用MNIST数据集中的2类400张图像(每类200张)，即M＝400。训练中设置N、H、W、C分别为400、28、28、1。MNIST数据集来自美国国家标准与技术研究所，训练集由来自250个不同人手写的数字构成,其中50％是高中学生,50％来自人口普查局的工作人员。测试集也是同样比例的手写数字数据。本发明中仅选用MNIST数据集中的图像数据，不使用对应的类别标签文件。

S2、构建聚类网络，其中，聚类网络包含卷积层、池化层及全连接层，全连接层的输出作为聚类网络的输出。

本实施例中，构建聚类网络，其中，聚类网络包含3层卷积层、2层池化层及2层全连接层，全连接层的输出作为聚类网络的输出；激活函数为relu函数，定义为relu(x)＝max(x,0)，池化层中池化步长为2，全连接层的神经元数目分别为1024和2。网络中去掉了分类网络中常用的softmax层，直接使用全连接层输出作为聚类网络输出。本发明对图像进行标准化预处理操作后作为网络输入。

将数据集S中的图像的大小统一为(H，W，C)，随机打乱后输入至聚类网络中，其中，H表示图像高度，W表示图像宽度，C表示图像通道数；聚类网络输入为四维向量(M，H，W，C)，分类输出类别数为2，聚类网络输出为二维张量(M，2)表示的二类聚类输出矩阵V，由矩阵V可得一维向量(M，1)表示的预测类别向量L，其中，L中元素L_i表示聚类类别，表示为

L_i＝argmax(V(i,1),V(i,2))

其中，V(i,1)、V(i,2)分别表示矩阵V中对应索引处的元素值。

S3、训练聚类网络，在数个阶段训练中生成参与训练的图像的对应标签集，并基于参与训练的图像及对应的标签集对所述聚类网络进行训练，得到最终网络模型训练参数。

请参阅图2，本实施例中，步骤S3通过以下子步骤实现：

S31、第一阶段训练

将数据集S中所有图像的标签设置为(0，0)，与原图像一起构成第一训练样本集dataset₀对聚类网络进行训练，训练损失函数为二范数损失损失函数

其中，G为图像对应标签，V(i)表示矩阵V中对应的第i个图像对应的输出向量；

采用随机梯度下降法训练网络权重，经过s₁步迭代后，得到第一网络权重ω₁；

后续步骤中训练均采用随机梯度下降法和二范数损失函数。

S32、第二阶段训练

在数据集S中任意选择一个图像作为正样本，将正样本的标签设置为(1，0)，对应类别为A；设置其余图像标签仍为(0，0)，构建新的训练集。本步骤中包含样本复制步骤，以解决样本不均匀问题，具体步骤如下：将随机选出的1个正样本复制M份，与原始数据集一起构成新的训练集，即第二训练样本集dataset₁；

将第二训练样本集dataset₁中的数据随机打乱作为训练样本，以第一网络权重ω₁为初始权重训练网络，经s₂步迭代后，得到第二网络权重ω₂。

S33、第三阶段训练：获取更多的正样本

将步骤S32中训练得到的网络对dataset₀中的图像进行预测，将类别A对应预测值进行大小排序，得到最大的Q个预测值对应的Q张图像，设置其对应标签值为(1，0)，其余图像标签设置为(0，0)，得到第三训练样本集dataset₂；

将第三训练样本集dataset₂中的数据随机打乱后作为训练样本，以第二网络权重ω₂为初始权重训练网络，经s₃步迭代后，得到第三网络权重ω₃。

S34、第四阶段训练：随机抽取Q个负样本

将步骤S33中训练得到的网络对dataset₂中的图像进行预测，将类别B对应预测值进行大小排序，得到最大的2×Q个预测值对应的2×Q张图像，随机抽取其中Q张图像设置其对应的样本标签为(0，1)。同时保留dataset₂中类别A对应图像及标签，得到由Q个类别A标签和Q个类别B标签以及对应图像组成的新的训练集，即第四训练样本集dataset₃；

将第四训练样本集dataset₃中的数据作为训练样本，以第一网络权重ω₁为初始权重训练网络，设置较小的学习率，经s₄步迭代后，得到第四网络权重ω₄。

S35、第五阶段训练

根据步骤S34中训练得到的网络进行输出分析，生成目标标签，对生成的目标标签进行交换，得到标签集，将标签集作为类别标签，对网络进行训练，经s₅步迭代后，得到最终网络权重ω₅。

本实施例中，步骤S35通过以下子步骤实现：

S351、根据步骤S34中训练得到的网络进行输出分析，生成目标标签，过程如下：

在矩阵V中进行搜索，得到矩阵V中的最大值p_max，最大值对应位置为(m,n)；

在n所在维度，即V(∶，n)中进行搜索，得到该维度中最大的T个标签对应的样本，并将其标签设置为n，其中，“：”表示包含该索引下所有元素，T为超参数；

将已设置好标签的T个数据从数据集S中移除，更新未标注标签数据集为S_new；将已设置好标签的T个数据相应的向量从矩阵V中移除，得到矩阵V_new。若n＝0(对应类别A)，则S_new中样本的标签可设置为B；若n＝1(对应类别B)，则S_new中样本的标签可设置为A。

上述步骤S351中的过程为单类标注生成过程。

二类聚类问题中，在一次单类标注生成过程完成后，剩余数据中类别标签可设置为另一类标签，因此只需执行一次上述过程。

上述过程执行完毕后，可获得包含原始图像和对应标签的第五训练样本集(S，G₀)，记为dataset₄。其中，G₀为一维张量(M,1)，表示数据集S对应的生成标签集。

S352、对步骤S351得到的标签集G₀，将其中比例为r的标签进行交换，从而生成新的标签集，其中r为超参数，在不同训练步长设置为不同大小，对应交换标签的样本个数为M×r。在训练迭代过程中，比例r逐渐降低，最终降低为0。交换标签的过程如下：

对于二类聚类问题，将矩阵V根据对应预测类别向量L分为两个子矩阵V₁和V₂，其中，V₁表示L＝(1,0)对应的所有向量组成的矩阵，V₂表示L＝(0,1)对应的所有向量组成的矩阵；

提取V₁和V₂中各自类别对应索引处的预测值，分别得到向量v₁和v₂，分别对向量v₁和v₂中元素大小进行排序，得到各自向量中最小的M×r个预测值及其相应索引i₁和i₂；

交换索引i₁和i₂对应的标签，得到标签集。

S353、将标签集作为分类网络训练所需的类别标签，对网络进行训练，经s₅步迭代后，得到最终网络权重ω₅。

本实施例中，步骤S352和S353需执行多次，执行的次数等于超参数r设置中不同r值的数目。

本实施例中，在步骤3对聚类网络进行训练时，采用GradientDescentOptimizer优化子，不同阶段的学习率分别设置为0.05、0.1、0.01、0.05、0.01，不同阶段训练步长(s₁到s₅)分别设置为30、30、20、200、400。步骤3包含五个阶段的训练，其中，第三阶段训练和第四阶段训练中Q设置为5。第五阶段训练中参数T设置为200，参数r设置为分段常量:{0.3,0.2,0.1,0}，每隔100步训练更改一次。

S4、将数据集输入至训练好的聚类网络，得到数据集中图像的分类输出。

本实施例中，将步骤S1中的数据集S，输入到步骤S2构建及步骤S3训练好的网络模型中，获取分类输出。

本实施例中，在对聚类网络进行测试时，对数据集S中的图像进行分类。在测试时，输入设置为N＝1，H＝28，W＝28，C＝1。输入图像经图像标准化操作预处理后通入聚类网络，经聚类网络输出得到分类结果。

本领域的普通技术人员将会意识到，这里的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种二分类网络的非监督训练方法，其特征在于，包括以下步骤：

S1、采集图像构建数据集S，其中，所述数据集包含待聚类图像，所述数据集中图像数量为M，任意图像为I；

S2、构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；

S3、训练聚类网络，在数个阶段训练中生成参与训练的图像的对应标签集，并基于参与训练的图像及对应的标签集对所述聚类网络进行训练，得到最终网络模型训练参数；

S4、将所述数据集输入至训练好的聚类网络，得到所述数据集中图像的分类输出。

2.如权利要求1所述的二分类网络的非监督训练方法，其特征在于，所述步骤S2包括：

构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；

将所述数据集S中的图像的大小统一为(H，W，C)，随机打乱后输入至所述聚类网络中，其中，H表示图像高度，W表示图像宽度，C表示图像通道数；所述聚类网络输入为四维向量(M，H，W，C)，分类输出类别数为2，所述聚类网络输出为二维张量(M，2)表示的二类聚类输出矩阵V，由所述矩阵V可得一维向量(M，1)表示的预测类别向量L，其中，L中元素L_i表示聚类类别，表示为

L_i＝argmax(V(i,1),V(i,2))

其中，V(i,1)、V(i,2)分别表示矩阵V中对应索引处的元素值。

3.如权利要求2所述的二分类网络的非监督训练方法，其特征在于，所述步骤S3包括：

S31、将所述数据集S中所有图像的标签设置为(0，0)，与原图像构成第一训练样本集dataset₀对所述聚类网络进行训练，训练损失函数为二范数损失损失函数

其中，G为图像对应标签，V(i)表示矩阵V中对应的第i个图像对应的输出向量；

采用随机梯度下降法训练网络权重，经过s₁步迭代后，得到第一网络权重ω₁；

S32、在所述数据集S中任意选择一个图像作为正样本，将所述正样本的标签设置为(1，0)，对应类别为A，其余图像标签设置为(0，0)，将所述正样本复制M份，与所述数据集一起构成第二训练样本集dataset₁；

将所述第二训练样本集dataset₁中的数据随机打乱作为训练样本，以所述第一网络权重ω₁为初始权重训练网络，经s₂步迭代后，得到第二网络权重ω₂；

S33、将所述步骤S32中训练得到的网络对dataset₀中的图像进行预测，将类别A对应预测值进行大小排序，得到最大的Q个预测值对应的Q张图像，设置其对应标签值为(1，0)，其余图像标签设置为(0，0)，得到第三训练样本集dataset₂；

将所述第三训练样本集dataset₂中的数据随机打乱后作为训练样本，以所述第二网络权重ω₂为初始权重训练网络，经s₃步迭代后，得到第三网络权重ω₃；

S34、将所述步骤S33中训练得到的网络对dataset₂中的图像进行预测，将类别B对应预测值进行大小排序，得到最大的2×Q个预测值对应的2×Q张图像，随机抽取其中Q张图像设置其对应的样本标签为(0，1)，同时保留dataset₂中类别A对应图像及标签，得到由Q个类别A标签和Q个类别B标签以及对应图像构成的第四训练样本集dataset₃；

将所述第四训练样本集dataset₃中的数据作为训练样本，以所述第一网络权重ω₁为初始权重训练网络，经s₄步迭代后，得到第四网络权重ω₄；

S35、根据所述步骤S34中训练得到的网络进行输出分析，生成目标标签，对生成的目标标签进行交换，得到标签集，将所述标签集作为类别标签，对网络进行训练，经s₅步迭代后，得到最终网络权重ω₅。

4.如权利要求3所述的二分类网络的非监督训练方法，其特征在于，所述步骤S35包括：

S351、根据所述步骤S34中训练得到的网络进行输出分析，生成目标标签；

S352、对生成的目标标签进行交换，得到标签集；

S353、将所述标签集作为类别标签，对网络进行训练，经s₅步迭代后，得到最终网络权重ω₅。

5.如权利要求4所述的二分类网络的非监督训练方法，其特征在于，所述步骤S351包括：

在所述矩阵V中进行搜索，得到所述矩阵V中的最大值p_max，最大值对应位置为(m,n)；

在n所在维度V(∶，n)中进行搜索，得到该维度中最大的T个标签对应的样本，并将其标签设置为n，其中，：表示包含该索引下所有元素，T为超参数；

将已设置好标签的T个数据从所述数据集S中移除，更新未标注标签数据集为S_new；将已设置好标签的T个数据相应的向量从所述矩阵V中移除，得到矩阵V_new；若n＝0，则S_new中样本的标签设置为B；若n＝1，则S_new中样本的标签设置为A；

得到包含原始图像和对应标签的第五训练样本集(S，G₀)，记为dataset₄，其中，G₀为一维张量(M,1)，表示所述数据集S对应的生成标签集。

6.如权利要求5所述的二分类网络的非监督训练方法，其特征在于，所述步骤S352包括：

将所述矩阵V根据对应预测类别向量L分为两个子矩阵V₁和V₂，其中，V₁表示L＝(1,0)对应的所有向量组成的矩阵，V₂表示L＝(0,1)对应的所有向量组成的矩阵；

提取V₁和V₂中各自类别对应索引处的预测值，分别得到向量v₁和v₂，分别对向量v₁和v₂中元素大小进行排序，得到各自向量中最小的M×r个预测值及其相应索引i₁和i₂，其中，r为超参数；

交换索引i₁和i₂对应的标签，得到标签集。