CN111027421A - 一种基于图的直推式半监督行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于图的直推式半监督行人再识别方法，属于计算机视觉行人再识别技术领域。首先使用有标签行人数据训练双通道模型，得到基模型后对无标签行人数据进行特征提取，为提取到的无标签行人数据特征建立图模型，根据图模型给予无标签行人数据伪标签，使用有标签行人数据和带有伪标签的无标签行人数据，构建正负样本对；使用图模型赋予正负样本对置信度后共同微调基模型；逐渐增加正负样本对的难度和置信度，利用课程学习方法，训练基模型至完全收敛，得到最终模型后对验证集数据进行特征提取并进行特征匹配，根据匹配结果，完成行人再识别。该方法减少了错误伪标签带来的负面影响，提高了模型的鲁棒性，进而提高了行人再识别的精度。

Description

一种基于图的直推式半监督行人再识别方法

技术领域

本发明属于计算机视觉行人再识别技术领域，具体涉及一种基于图的直推式半监督行人再识别方法。

背景技术

行人再识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。行人再识别就是需要机器识别出不同摄像机拍摄的特定人员的所有图像。具体说，就是给定某人的一张图片(query image)，从多张图片(gallery images)中找到属于他/她的那一张或多张，是通过行人整体特征实现的人员比对技术。行人再识别技术在公共安防的刑侦工作中以及图像检索等场景中有很高的应用价值。除此之外，行人再识别技术还可以帮助手机用户实现相册聚类、帮助零售或商超经营者获取有效的顾客轨迹、挖掘商业价值。然而，目前行人再识别技术的精准度并不高，很多工作仍依赖于大量人力的投入。

行人再识别是一项非常重要和具有挑战性的任务，由于图像拍摄的时间、地点随机，且光线、角度、姿态不同，再加上行人容易受到检测精度、遮挡等因素的影响，这些使得行人再试别的研究工作在实际应用中面临更加困难的挑战。大多数的行人再识别算法都采用了全监督卷积神经网络。然而，一个范化性能更好的神经网络往往需要数以万计的标记训练样本来训练。不像分类数据集或人脸识别数据集，其数据量已经扩展到数百万，大多数行人再识别数据集都少于2000人，每个人有几十张图像。由于获得标记的行人样本过于昂贵，所以基于半监督学习的行人再识别技术将在实际应用中更有价值。

行人再识别领域的研究工作主要采用研究行人对象的特征表示方法，提取更具有鲁棒性的鉴别特征对行人进行表示，以及采用距离度量学习方法，通过学习一个有判别力的距离度量函数，使得同一个人的图像间距离小于不同行人图像间的距离。基于图像的行人再识别技术，其核心目标是为一张指定的行人图像找到包含N张行人图像的候选集中与之最相似的行人图像。为了将不同身份的行人区别出来，行人再识别需要提取有鉴别力的行人特征描述子。在日常生活中，人类通常根据服饰识别是否是同一个行人，而在智能多摄像头监控***中，行人外观通常由于照明、行走姿势、摄像头视域的变化而剧烈变化。如何在剧烈的外观变化下提取鲁棒的描述子，是目前需要解决的技术难点，因此在实际应用过程中有着较大限制。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于图的直推式半监督行人再识别方法，减少了错误伪标签带来的负面影响，提高了模型的鲁棒性，进而提高了行人再识别的精度。

本发明是通过以下技术方案来实现：

一种基于图的直推式半监督行人再识别方法，包括以下步骤：

步骤1：使用有标签行人数据训练双通道模型，得到基模型；

步骤2：使用基模型对无标签行人数据进行特征提取，为提取到的无标签行人数据特征建立图模型，根据图模型给予无标签行人数据伪标签，使用有标签行人数据和带有伪标签的无标签行人数据，构建正负样本对；

步骤3：使用图模型赋予正负样本对置信度，使用带有置信度的正负样本对共同微调步骤1所得基模型；

步骤4：重复步骤2、3，逐渐增加正负样本对的难度和置信度，利用课程学习方法，训练基模型至完全收敛，得到最终模型；

步骤5：利用最终模型，对验证集数据进行特征提取并进行特征匹配，根据匹配结果，完成行人再识别。

优选地，步骤1具体为：记有标签行人数据为X^L，无标签行人数据为X^U；定义属于同一标签的样本对为正样本对，不属于同一标签的样本对为负样本对；在双通道模型中，其中一个通道模型为ResNet50，该模型的参数由学***均移动计算得到，设为“教师”模型，计算公式如下：

θ_t′＝αθ_t-1′+(1-α)θ_t

式中，θ_t为“学生”模型参数，θ_t′为“教师”模型参数；α为平滑系数，双通道模型使用的损失函数包含三部分：基于特征的一致性损失函数，三元组损失函数，交叉熵损失函数，其中：

式中，L^CL为一致性损失函数，N为样本数量，

为L2范数的平方，η_i和η_i′为两种不同的噪声；

式中，

为三元组损失函数，N为三元组的数量，f_θ(·)为“学生”模型提取行人图像得到的特征；θ为“学生”模型的参数；

分别为三元组中的锚样本，正样本，负样本；α为三元组损失函数中的边界参数；

式中，

为交叉熵损失函数，σ为标准的softmax交叉熵损失函数，N为当前训练批次有标签行人数据的数量，y_i为当前训练批次有标签行人数据的标签，ω为“学生”模型中最后一个全连接层的参数；

使用超参数λ₀将三元组损失函数和交叉熵损失函数进行结合，得到全监督损失函数L^SL：

使用超参数λ₁将全监督损失函数L^SL与一致性学习损失函数L^CL进行结合，得到有标签行人数据的最终损失函数：

L^SL-CL＝L^SL+λ₁L^CL

使用有标签行人数据的最终损失函数作为约束，使用有标签行人数据对双通道进行训练，得到基模型。

优选地，步骤2具体为：使用基模型对无标签行人数据进行特征提取，利用无标签行人数据的特征构建有向KNN图G(V,E)，在G中：

V＝{v_i＝f_θ(x_i)|x_i∈X^U}

E＝{e_ij＝P(v_i,v_j)|v_j∈N_k(v_i)}

式中，N_k(v_i)为顶点v_i的KNN图，P(v_i,v_j)为v_i到v_j之间的一条有向边；在KNN图中以若干条边构成的闭合回路中，选取所有无标签行人数据的两两组合作为正样本对记为C_t，其中t为闭合回路的边数；对于有标签的行人数据中的锚样本，从同一标签的行人数据中获取正样本，从不同标签的行人数据和无标签的行人数据中获取负样本；对于无标签行人数据中的锚样本，从C_t中获取正样本对，从有标签行人数据中获取负样本对；提升所挖掘负样本的困难度：

其中，min(·)为选择具有最小欧式距离的样本对，

为在C_t中的第i个无标签行人数据，

为从X^L中选出的有标签行人数据，

为在当前训练批次中，从C_t中选择出的无标签行人数据，D(·)为计算欧式距离；对于一个属于C_t的锚样本，N_i为从X^L中选出的负样本，

为从C_t中选择出的负样本，c为用来控制负样本对的置信度的常数。

优选地，通过逐渐减小常数c来提升所挖掘负样本的困难度。

优选地，步骤3具体为：得到正负样本对后，使用正负样本对构建三元组损失：

其中，N代表当前训练批次中三元组的数量，在每个批次中无标签数据和有标签数据数量相等；无标签数据的三元组从C_t，N_i，

中采样，有标签数据的三元组使用标准的三元组采样策略采样；使用图模型赋予三元组置信度，s_i是第i个三元组的置信度；有标签数据的三元组的置信度s_i设为常数1；对于无标签数据的三元组的置信度设置，使用D_i来定义第i个样本对在图模型中的的重复次数，在图模型中重复次数最多的样本对即D_max＝max({D_i})，从

中采样的负样本对，使用控制负样本对的置信度的常数c作为负样本对的置信度；从N_i中采样的负样本对，使用c作为其置信度；最终对于无标签数据的三元组置信度定义为：

其中，α代表从图模型中选出的无标签数据的正样本对的最低置信度；定义直推式度量学习损失函数为：

使用超参数λ₀将直推式度量学习损失函数与一致性学习损失函数结合，最终损失函数为：

L^TSML-CL＝L^TSML+λ₁L^CL，

基于该损失函数，通过使用带有置信度的正负样本对共同微调步骤1所得基模型，提升模型性能。

进一步优选地，常数c的取值范围为0.5～1。

与现有技术相比，本发明具有以下有益的技术效果：

本发明的一种基于图的直推式半监督行人再识别方法，结合深度卷积神经网络技术，首先针对无标签数据，构建图模型，利用图模型对无标签数据进行困难样本挖掘，同时利用图模型赋予困难样本置信度，利用带有置信度的伪标签优化模型。相比于传统算法如Knn、K-means等，基于图模型的方法可以得到更加准确伪标签。置信度的引入也使得伪标签在使用的时候更加稳定，例如置信度较小的样本，将控制其对优化模型过程的影响。困难样本挖掘的方法可以挖掘到更加困难的正负样本对，在度量学习中使用时，可以最大化的提升模型的特征表达能力。传统方法只适用于有标签样本的困难样本挖掘，本发明提出的困难样本挖掘方法同时适用于无标签数据，针对数据分布的先验知识，对传统的难样本挖掘方法进行改进，使得正负样本对更加充分，进而可以更大幅度的提升模型的性能。

同时，进行了一致性学习的引入与改进，利用加入不同噪声的同一数据具有特征一致的假设，对模型进行优化。对无标签数据，本发明利用特征一致性假设对模型的优化过程进行约束，使得“教师”、“学生”两个模型可以互相学习以优化参数，加快收敛的同时提升两个模型的性能。课程学习方法的引入，先学习简单的知识(样本)，再逐渐增加难度学习困难的知识(样本)。首先利用高置信度的无标签数据和有标签数据对基本模型进行微调，在模型性能得到提升以后，更新无标签数据的置信度，此时该置信度信息将比更新前更可靠，然后利用更新置信度信息的无标签数据与有标签数据再次对模型进行微调，以此反复至模型收敛，得到最终模型。有意义的训练数据的顺序可以使模型性能最大化的提升。该方法减少了错误伪标签带来的负面影响，提高了模型的鲁棒性，进而提高了行人再识别的精度。

附图说明

图1为本发明的流程图；

图2为本发明的直推式度量学习网络结构示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

如图1所示为本发明的流程逻辑框图，本发明的基于图的直推式半监督行人再识别方法，包括以下步骤：

步骤1：使用带标签行人数据进行三元组构建；

步骤2：训练双通道模型，如图2，得到基模型；

步骤3：使用基模型对无标签行人数据进行特征提取；

步骤4：为提取到的无标签行人数据特征建立图模型；

步骤5：根据图模型给予无标签行人数据带有置信度的伪标签，并为无标签数据构建三元组；

步骤6：使用带标签行人数据三元组和带有伪标签的无标签行人数据三元组，共同微调模型；

步骤7：重复步骤2、3、4、5、6，训练模型至完全收敛，得到最终模型；

步骤8：利用最终模型，对验证集数据进行特征提取并进行特征匹配，根据匹配结果，完成行人再识别。

具体的：记有标签行人数据为X^L，无标签行人数据为X^U；定义属于同一标签的样本对为正样本对，不属于同一标签的样本对为负样本对；在双通道模型中，其中一个通道模型为ResNet50，该模型的参数由学***均移动(Exponential Moving Average)计算得到，设为“教师”模型，计算公式如下：

θ_t′＝αθ_t-1′+(1-α)θ_t

式中，θ_t为“学生”模型参数，θ_t′为“教师”模型参数，模型框架如图2所示；α为平滑系数，双通道模型使用的损失函数包含三部分：基于特征的一致性损失函数，三元组损失函数，交叉熵损失函数，如图2所示，分别为Consistency Loss、Triplet Loss和Classification Loss；其中：

式中，L^CL为一致性损失函数，N为样本数量，

为L2范数的平方，η_i和η_i为两种不同的噪声；

式中，

为三元组损失函数，N为三元组的数量，f_θ(·)为“学生”模型提取行人图像得到的特征；θ为“学生”模型的参数；

分别为三元组中的锚样本，正样本，负样本；α为三元组损失函数中的边界参数；

式中，

为交叉熵损失函数，σ为标准的softmax交叉熵损失函数，N为当前训练批次有标签行人数据的数量，y_i为当前训练批次有标签行人数据的标签，ω为“学生”模型中最后一个全连接层的参数；

使用超参数λ₀将三元组损失函数和交叉熵损失函数进行结合，λ₀在训练模型时设为了0.1，得到全监督损失函数L^SL：

使用超参数λ₁将全监督损失函数L^SL与一致性学习损失函数L^CL进行结合，得到有标签行人数据的最终损失函数：

L^SL-CL＝L^SL+λ₁L^CL

使用有标签行人数据的最终损失函数作为约束，使用有标签行人数据对双通道进行训练，得到基模型；如图1中带标签数据三元组构建与模型训练所示。

使用基模型对无标签行人数据进行特征提取，利用无标签行人数据的特征构建有向KNN图G(V,E)，我们使用了K＝4作为近邻数。在G中：

V＝{v_i＝f_θ(x_i)|x_i∈X^U}

E＝{e_ij＝P(v_i,v_j)|v_j∈N_k(v_i)}

式中，N_k(v_i)为顶点v_i的KNN图，P(v_i,v_j)为v_i到v_j之间的一条有向边；如果可以通过t条有向边，一个顶点可以连接回到它自己，例如e_ij→e_jk→e_kl→e_li，我们就称这样的顶点组成一个“环”，t称为这个“环”的阶。一个环中的任意样本组合称为这个环产生的正样本对。通过KNN图得到的“环”属于同一标签的概率更高。相比于基于近邻的方法，其只能找到类内方差较小的正样本对。由“环”提供的正样本对具有更大的类内方差。在KNN图中以若干条边构成的闭合回路中，选取所有无标签行人数据的两两组合作为正样本对记为C_t，其中t为闭合回路的边数；对于有标签的行人数据中的锚样本，从同一标签的行人数据中获取正样本，从不同标签的行人数据和无标签的行人数据中获取负样本；对于无标签行人数据中的锚样本，从C_t中获取正样本对，从有标签行人数据中获取负样本对；提升所挖掘负样本的困难度：

其中，min(·)为选择具有最小欧式距离的样本对，

为在C_t中的第i个无标签行人数据，

为从X^L中选出的有标签行人数据，

为在当前训练批次中，从C_t中选择出的无标签行人数据，D(·)为计算欧式距离；对于一个属于C_t的锚样本，N_i为从X^L中选出的负样本，

为从C_t中选择出的负样本，c为用来控制负样本对的置信度的常数；通常使用c＝0.7，c＝0.8，c＝0.9来产生更加困难的负样本对。

得到正负样本对后，使用正负样本对构建三元组损失：

其中，N代表当前训练批次中三元组的数量，在每个批次中无标签数据和有标签数据数量相等；无标签数据的三元组从C_t，N_i，

中采样，有标签数据的三元组使用标准的三元组采样策略采样；使用图模型赋予三元组置信度，s_i是第i个三元组的置信度；有标签数据的三元组的置信度s_i设为常数1；对于无标签数据的三元组的置信度设置，使用D_i来定义第i个样本对在图模型中的的重复次数，在图模型中重复次数最多的样本对即D_max＝max({D_i})，从

中采样的负样本对，我们使用控制负样本对的置信度的常数c作为负样本对的置信度；从N_i中采样的负样本对，使用c＝1作为其置信度；最终对于无标签数据的三元组置信度定义为：

其中，α代表从图模型中选出的无标签数据的正样本对的最低置信度，α设为0.8。；定义直推式度量学习损失函数为：

使用超参数λ₀将直推式度量学习损失函数与一致性学习损失函数结合，最终损失函数为：

L^TSML-CL＝L^TSML+λ₁L^CL，

基于该损失函数，通过使用带有置信度的正负样本对共同微调步骤1所得基模型，提升模型性能。

在模型性能得到优化后，重复进行特征提取，并进行图模型的构建，不断更新正负样本对以及正负样本对的置信度，利用课程学习方法，训练基模型至完全收敛，得到最终模型。利用最终模型，对验证集数据进行特征提取并进行特征匹配，根据匹配结果，完成行人再识别。

下面以一个具体实施例来对本发明进行进一步的解释说明：

采用ResNet50卷积神经网络模型，输入图像尺寸为128*384，特征层维度为2048，使用PyTorch框架来实现本发明方法，使用Adam优化器，初始学习率为0.0002，weightdecay为0.0005,每个批次共有32个行人ID，每个行人ID有4张图像，模型在ImageNet数据集进行了预训练。

表1列举了采用本发明的行人再识别方法与其他方法在公开行人再识别数据集(Market1501,DukeMCMT-ReID)上的分类精度对比，可以看出，采用本方法得到的模型精度更高。

表1

[1]X.Xin,J.Wang,R.Xie,S.Zhou,W.Huang,N.Zheng,Semi-supervised personre-identification using multi-view clustering,Pattern Recognition 88(2019)285–297.

[2]X.Xin,X.Wu,Y.Wang,J.Wang,Deep self-paced learning for semi-supervised person re-identification using multi-view self-paced clustering,in:2019IEEE International Conference on Image Processing(ICIP),2019,pp.2631–2635.doi:10.1109/ICIP.2019.8803290.

需要说明的是，以上所述仅为本发明实施方式的一部分，根据本发明所做的等效变化，均包括在本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做类似的方式替代，只要不偏离本发明或者超越本权利要求书所定义的范围，均属于本发明的保护范围。

Claims (6)

1.一种基于图的直推式半监督行人再识别方法，其特征在于，包括以下步骤：

步骤1：使用有标签行人数据训练双通道模型，得到基模型；

步骤2：使用基模型对无标签行人数据进行特征提取，为提取到的无标签行人数据特征建立图模型，根据图模型给予无标签行人数据伪标签，使用有标签行人数据和带有伪标签的无标签行人数据，构建正负样本对；

步骤3：使用图模型赋予正负样本对置信度，使用带有置信度的正负样本对共同微调步骤1所得基模型；

步骤4：重复步骤2、3，逐渐增加正负样本对的难度和置信度，利用课程学习方法，训练基模型至完全收敛，得到最终模型；

步骤5：利用最终模型，对验证集数据进行特征提取并进行特征匹配，根据匹配结果，完成行人再识别。

2.如权利要求1所述的基于图的直推式半监督行人再识别方法，其特征在于，步骤1具体为：记有标签行人数据为X^L，无标签行人数据为X^U；定义属于同一标签的样本对为正样本对，不属于同一标签的样本对为负样本对；在双通道模型中，其中一个通道模型为ResNet50，该模型的参数由学***均移动计算得到，设为“教师”模型，计算公式如下：

θ_t′＝αθ_t-1′+(1-α)θ_t

式中，θ_t为“学生”模型参数，θ_t′为“教师”模型参数；α为平滑系数，双通道模型使用的损失函数包含三部分：基于特征的一致性损失函数，三元组损失函数，交叉熵损失函数，其中：

式中，L^CL为一致性损失函数，N为样本数量，

为L2范数的平方，η_i和η_i′为两种不同的噪声；

式中，

为三元组损失函数，N为三元组的数量，f_θ(·)为“学生”模型提取行人图像得到的特征；θ为“学生”模型的参数；

分别为三元组中的锚样本，正样本，负样本；α为三元组损失函数中的边界参数；

式中，

为交叉熵损失函数，σ为标准的softmax交叉熵损失函数，N为当前训练批次有标签行人数据的数量，y_i为当前训练批次有标签行人数据的标签，ω为“学生”模型中最后一个全连接层的参数；

使用超参数λ₀将三元组损失函数和交叉熵损失函数进行结合，得到全监督损失函数L^SL：

使用超参数λ₁将全监督损失函数L^SL与一致性学习损失函数L^CL进行结合，得到有标签行人数据的最终损失函数：

L^SL-CL＝L^SL+λ₁L^CL

使用有标签行人数据的最终损失函数作为约束，使用有标签行人数据对双通道进行训练，得到基模型。

3.如权利要求1所述的基于图的直推式半监督行人再识别方法，其特征在于，步骤2具体为：使用基模型对无标签行人数据进行特征提取，利用无标签行人数据的特征构建有向KNN图G(V,E)，在G中：

V＝{v_i＝f_θ(x_i)|x_i∈X^U}

E＝{e_ij＝P(v_i,v_j)|v_j∈N_k(v_i)}

式中，N_k(v_i)为顶点v_i的KNN图，P(v_i,v_j)为v_i到v_j之间的一条有向边；在KNN图中以若干条边构成的闭合回路中，选取所有无标签行人数据的两两组合作为正样本对记为C_t，其中t为闭合回路的边数；对于有标签的行人数据中的锚样本，从同一标签的行人数据中获取正样本，从不同标签的行人数据和无标签的行人数据中获取负样本；对于无标签行人数据中的锚样本，从C_t中获取正样本对，从有标签行人数据中获取负样本对；提升所挖掘负样本的困难度：

其中，min(·)为选择具有最小欧式距离的样本对，

为在C_t中的第i个无标签行人数据，

为从X^L中选出的有标签行人数据，

为在当前训练批次中，从C_t中选择出的无标签行人数据，D(·)为计算欧式距离；对于一个属于C_t的锚样本，N_i为从X^L中选出的负样本，

为从C_t中选择出的负样本，c为用来控制负样本对的置信度的常数。

4.如权利要求1所述的基于图的直推式半监督行人再识别方法，其特征在于，通过逐渐减小常数c来提升所挖掘负样本的困难度。

5.如权利要求1所述的基于图的直推式半监督行人再识别方法，其特征在于，步骤3具体为：得到正负样本对后，使用正负样本对构建三元组损失：

其中，N代表当前训练批次中三元组的数量，在每个批次中无标签数据和有标签数据数量相等；无标签数据的三元组从C_t，N_i，

中采样，有标签数据的三元组使用标准的三元组采样策略采样；使用图模型赋予三元组置信度，s_i是第i个三元组的置信度；有标签数据的三元组的置信度s_i设为常数1；对于无标签数据的三元组的置信度设置，使用D_i来定义第i个样本对在图模型中的的重复次数，在图模型中重复次数最多的样本对即D_max＝max({D_i})，从

中采样的负样本对，使用控制负样本对的置信度的常数c作为负样本对的置信度；从N_i中采样的负样本对，使用c作为其置信度；最终对于无标签数据的三元组置信度定义为：

其中，α代表从图模型中选出的无标签数据的正样本对的最低置信度；定义直推式度量学习损失函数为：

使用超参数λ₀将直推式度量学习损失函数与一致性学习损失函数结合，最终损失函数为：

L^TSML-CL＝L^TSML+λ₁L^CL，

基于该损失函数，通过使用带有置信度的正负样本对共同微调步骤1所得基模型，提升模型性能。

6.如权利要求3～5任意一项所述的基于图的直推式半监督行人再识别方法，其特征在于，常数c的取值范围为0.5～1。

Images