CN112149538A - 一种基于多任务学习的行人重识别方法 - Google Patents

Abstract

本发明提出了一种基于多任务学习的行人重识别方法，包括：获取跨摄像机行人图像，构建一个行人重识别训练数据集；构造一个多任务学习网络，所述网络可以将属性任务和身份识别任务相结合，可以联合优化所有参数和损失，从而达到提升行人重识别准确率的目的；属性任务和识别任务中分别包含验证和验证步骤，分类和验证损失来优化样品的距离，识别损失用于构建一个大的类空间，同时验证损失，本发明通过最小化相似图像和最大限度地扩大不同图像之间的距离来优化空间，以提高识别精度。

Description

一种基于多任务学习的行人重识别方法

技术领域

本发明涉及一种行人重识别方法，具体的说是一种基于多任务学习的行人重识别方法，属于深度学习技术领域。

背景技术

行人再识别对无重叠的多个摄像头拍摄的行人图像进行识别，是将一个摄像头拍摄的目标行人作为检索对象，从其他摄像头拍摄的图像中准确识别行人，由抽取健壮表示特征及采用有效度量模型实现识别两个过程组成.大多数研究工作集中在行人外表图像表示特征及相似度量模型两方面工作.行人再识别主要的任务就是找到行人图像的有效表达。

在深度学习技术出现之前,早期的行人再识别研究主要集中于如何手工设计更好的视觉特征和如何学习更好的相似度度量。近几年随着深度学习的发展,深度学习技术在行人再识别任务上得到了广泛的应用。和传统方法不同，深度学习方法可以自动提取较好的行人图像特征,同时学习得到较好的相似度度量。

行人重识别由于受多种条件变化的影响，其识别精度仍然不高，需要提出鲁棒性更好的新技术和算法.目前研究主要围绕图像特征学习和相似度量方面展开。单一、单层次的图像表示特征在不同场景下，其性能表现各异，针对图像全局或局部结构信息进行投影变换学习判别能力强的子空间技术，不能很好识别来自不同摄像头的图像。

具体原因分析如下:

1)不同层次、不同部分的表示特征代表不同语义，通过不同视图、不同层面、不同局部的视觉颜色特征、结构特征或深度特征等对图像加以描述，反映了不同语义.这些描述数据，其产生方式不同，承载的信息不同，对各种环境变化的敏感性不同，具有很强的互补性.研究结果表明，使用单一种类表示特征、单一层面表示特征，识别效果不如多种特征、多层面特征融合效果好.但如不加区别将多种特征融合利用，其鲁棒性不好，需要研究环境适应性强的特征融合利用技术，在不同场景下(即不同的复杂变化下)，放大对该场景更具鲁棒性特征的作用，降低对该场景鲁棒性差的特征的作用.为此需要研究分析适用于不同变化的表示特征。

2)深度卷积神经网络在图像分类中表现出优异的性能，利用深度卷积神经网络学习行人表示深度特征，具有很好的判别能力并对噪声具有很好的鲁棒性.但网络训练需要大量标记数据，标记数据费时费力，需要研究如何增加深度网络的训练数据，提高深度特征的鲁棒性。

3)样本间的类内和类间差异：对于行人再识别的数据集，类内差异和类间混淆是常见的问题。类内差异指同意行人在不同摄像头下所呈现的多样性，比如姿势、角度、外观等，类间混淆指不同行人在摄像头下的相似外观。产生这些样本差异的原因是跨摄像头会带来复杂度，模型很难对这些特征进行学习和匹配。

发明内容

本发明的目的是提供一种基于多任务学习的行人重识别方法，能够针对识别任务中仅是对行人的整体轮廓进行识别未考虑到局部信息，以及属性任务中未考虑到的属性验证问题，提高识别的准确率。

本发明的目的是这样实现的：一种基于多任务学习的行人重识别方法，包括以下步骤：

步骤1)获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像；

步骤2)将ResNet-50作为骨干网络，基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；采用身份标签和属性标签分别对行人重识别预训练网络进行微调，产生身份识别网络和属性识别网络；

步骤3)将身份识别网络分为身份分类任务和身份验证任务，将属性识别网络分为属性分类任务和属性验证任务，身份分类任务中使用损失函数进行身份预测，对样本图片输出的特征向量计算分类损失；

步骤4)身份验证任务中，给定两张图片，输入到行人重识别预训练网络模型，获取两张图片的全局特征向量，计算图像对的损失函数；选取N个图像对，计算总的验证损失；

步骤5)属性分类任务中，用M个损失函数进行属性预测，再计算M个网络的m个属性的损失；

步骤6)属性验证任务是为了判断所提取的属性特征是否符合行人特征，使用对比损失函数计算属性验证任务的总损失；

步骤7)四个任务产生的总损失，用平衡参数α和β来调节，参数α平衡了身份和属性之间的贡献，β平衡分类和验证之间的贡献。

作为本发明的进一步改进，步骤1)具体包括：

1.1)采用高斯混合模型检测行人图像前景；

1.2)根据步骤1.1的检测结果，若存在运动前景的视频帧，采用预训练的行人检测器对行人进行检测，精确定位行人位置，并从视频帧中截取对应区域图像作为行人图像；

1.3)根据步骤1.1的检测结果，若高斯混合模型未检测到运动前景，则行人检测器不执行；

1.4)采用人工标注方式将不同摄像机上提取的同一行人标注为同一个类，并赋予一个编号，每类行人图像不少于预设的样本个数；而不同类行人图像之间采用不同的编号表示；每个行人的属性标签进行手工标注；迭代上述样本收集过程，当训练数据集规模包含预设数量的行人图像时，可停止收集数据。

作为本发明的进一步改进，步骤2)具体包括：

2.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；

2.2)在行人重识别数据上预训练深度卷积神经网络模型时，利用了样本身份信息和属性信息分别对深度卷积网络模型进行微调，在ImageNet数据集上预训练的ResNet50网络模型，添加平均池化层，在平均池化层之后***一个dropout层。

作为本发明的进一步改进，步骤3)具体包括：

3.1)数据集上获取图像组，图像组包含身份标签以及属性标签；

3.2)使用损失函数进行身份预测，根据身份识别分类网络获取行人全局图像的预测概率；

3.3)根据预测概率定义身份分类网络中的损失函数。

作为本发明的进一步改进，步骤4)具体包括：

4.1)定两张图像I,J,通过身份识别网络提取图片对应高级特征f_a,f_b；

4.2)根据步骤4.1所提取的特征，使用对比损失函数进行相似性估计；

4.3)根据一组图像的损失函数，计算每个batch中N个图像对的验证损失。

作为本发明的进一步改进，步骤5)具体包括：

5.1)给定样本图像I,假设含有m个类别的属性；

5.2)使用损失函数进行属性预测，根据属性分类网络获取行人图像属性的预测概率；

5.3)根据预测概率定义属性分类网络中的损失函数。

作为本发明的进一步改进，步骤7)具体包括：

7.1结合上述步骤3)、步骤4)、步骤5)、步骤6)产生的四个损失来生成最终的多任务损失；

7.2使用参数α平衡了身份和属性之间的损失；

7.3使用参数β平衡了分类和验证之间的损失。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：改进现有的深度学习端到端的学习框架，把属性任务与身份识别任务相结合，提出一种多任务学习网络，行人再识别是一项从不重叠的摄像机中找到被查询的人的任务，而目标则是寻找被查询的人；属性识别的目的是从图像中预测一组属性的存在；属性描述一个人的详细信息，包括性别、配饰、衣服颜色等；识别任务的目的是判断是否为我们要查询的人；利用属性标签，模型能够通过明确地关注一些局部语义描述来学习对行人进行分类，这极大地简化了模型的训练，利用属性标签中的互补线索来提高大规模人员再识别的性能；将行人属性任务与行人识别任务相结合，通过整合多语境信息，从不同的角度提出补充信息；属性侧重于一个人的局部信息，而身份则更注重整体轮廓和外观，识别损失用来构造一个大的类空间，验证损失用来优化空间，使得相似图片之间的距离更小，不同图片之间的距离更大；预计结合两种分类和验证方法，充分利用了身份和属性这两项任务，验证技术嵌入到属性中，这在一定程度上弥补了属性识别模型的缺陷。

附图说明

图1是本发明实施例多任务学习方法概述图。

图2是本发明实施例基于多任务学习网络的体系架构。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。

如图1所示的一种基于多任务学习的行人重识别方法，包括以下几个步骤。

步骤1)获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像；

在本实施例中，采用高斯混合模型检测行人图像前景；根据高斯混合模型的检测结果，若存在运动前景的视频帧，采用预训练的行人检测器对行人进行检测，精确定位行人位置，并从视频帧中截取对应区域图像作为行人图像；若高斯混合模型未检测到运动前景，则行人检测器不执行；采用人工标注方式将不同摄像机上提取的同一行人标注为同一个类，并赋予一个编号，每类行人图像不少于预设的样本个数；而不同类行人图像之间采用不同的编号表示；每个行人的属性标签进行手工标注；迭代上述样本收集过程，当训练数据集规模包含预设数量的行人图像时，可停止收集数据。

步骤2)将ResNet-50作为骨干网络，基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；采用身份标签和属性标签分别对行人重识别预训练网络进行微调，产生身份识别网络和属性识别网络；

在本实施例中，所述的网络都为卷积神经网络，包括若干卷积单元和池化层构成，其中每个卷积单元由一个批量归一化层、一个卷积层和一个非线性激活层构成；近年来，深度学习中的卷积网络在提取图像高级特征中展现出很好的效果，但是经卷积核提取的信息缺乏足够的目标先验信息；因此将属性任务与识别任务相结合，用属性任务来补充身份识别用以提高行人识别的准确度；

获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；在行人重识别数据上预训练深度卷积神经网络模型时，利用了样本身份信息和属性信息分别对深度卷积网络模型进行微调，在ImageNet数据集上预训练的ResNet50网络模型，添加平均池化层，在平均池化层之后***一个dropout层；身份网络和属性网络两个子网结构相同、参数共享。

步骤3)身份识别网络中分为身份分类任务和身份验证任务，身份分类任务中使用损失函数进行身份预测，样本图片输出的特征向量计算分类损失；

在本实施例中，多任务学习网络可以输入单张图片进行学习，输出图片的全局特征；全局特征通过身份网络层FC_IC层提取身份特征，使用损失函数进行身份预测，很好地表达样本间的相似度。I＝{x_n,k_n,a_n}为图片组，其中身份标签为k_n和属性标签a_n,每个图像x_n,包含身份标签k∈{1……k}的子集以及属性标签

的子集,若训练图片为x,则输出z＝[z₁,z₂……z_k],每个身份标签k∈{1,2……k}的概率能够预测为P,损失函数定义为

其中

是预测概率，P_i是目标概率；除P_i＝k＝1外，所有p_i＝0,f为2048维的特征。

步骤4)身份验证任务中，给定两张图片，输入到行人重识别预训练网络模型，获取两张图片的全局特征向量，计算图像对的损失函数；选取N个图像对，计算总的验证损失；

在本实例方式中，利用网络前向传播求解目标函数相对网络各层参数，对各层参数利用随机梯度下降进行参数更新学习；

本实例方式中，给定两张图像I,J,通过身份识别网络FC_I层提取图片对应高级特征f_a,f_b，每张图片对应的身份标签为y.根据所提取的高级特征f_a,f_b，使用对比损失函数进行相似性估计；图像对损失函数定义为：

用欧氏距离来测量距离，用||·||₁表示；||·||₁表示向量的第一范数；|·|表示求绝对值，λ是加权参数，控制正则化器的强度，θ>0是一个余量阈值参数；在本发明中，我们将参数设置为λ＝0.01和θ＝1024；如果两个图片相似，则y＝0；否则y＝1；第一个惩罚项惩罚映射到不同代码的相似图像；第二个惩罚项惩罚当欧式距离低于阈值θ时，不同图像映射到相似图像代码；最后一项用于使输出匹配所需的离散值(+1/-1)，从而确保网络的收敛性；假设随机从一个小批次中选择N对，我们的最终目标是将总损失函数最小化，总损失函数可定义为L_m(f_a,f_b,y),即为1到N的损失函数之和。

步骤5)属性分类任务中，用M个损失函数进行属性预测，再计算M个网络的m个属性的损失；

本实例方式中，与步骤3)类似，给定I＝{x_n,k_n,a_n}，以及属性标签

的子集，我们用M个损失函数进行属性预测，属性i分配给属性类别j∈{1，2……m}的概率为P，则

属性分类的交叉熵成本函数可被定义为：

也就是说，总属性分类损失是每个属性分类损失之和。假设y_i,m是属性i的真实标签；当j＝y_i,m时，P_i,j＝1。

步骤6)属性验证任务是为了判断所提取的属性特征是否符合行人特征，使用对比损失函数计算属性验证任务的总损失；

本实例方式中，属性验证任务可以通过组合多个不同的对比损失来实现。与步骤4)类似，给定I＝{x_n,k_n,a_n}，以及属性标签

的子集，假设属性i有j∈{1，2…m}种类别，我们能定义属性验证损失为：

步骤7)四个任务产生的总损失，用平衡参数α和β来调节，参数α平衡了身份和属性之间的贡献，而β平衡了分类和验证之间的贡献；

本实例方式中，结合上述步骤3)、步骤4)、步骤5)、步骤6)产生的四个损失来生成最终的多任务损失；多任务学***衡了身份和属性之间的损失，而β平衡了分类和验证之间的损失。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于多任务学习的行人重识别方法，其特征在于：包括以下步骤：

步骤1)获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像；

步骤2)将ResNet-50作为骨干网络，基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；采用身份标签和属性标签分别对行人重识别预训练网络进行微调，产生身份识别网络和属性识别网络；

步骤3)将身份识别网络分为身份分类任务和身份验证任务，将属性识别网络分为属性分类任务和属性验证任务，身份分类任务中使用损失函数进行身份预测，对样本图片输出的特征向量计算分类损失；

步骤4)身份验证任务中，给定两张图片，输入到行人重识别预训练网络模型，获取两张图片的全局特征向量，计算图像对的损失函数；选取N个图像对，计算总的验证损失；

步骤5)属性分类任务中，用M个损失函数进行属性预测，再计算M个网络的m个属性的损失；

步骤6)属性验证任务是为了判断所提取的属性特征是否符合行人特征，使用对比损失函数计算属性验证任务的总损失；

步骤7)四个任务产生的总损失，用平衡参数α和β来调节，参数α平衡了身份和属性之间的贡献，β平衡分类和验证之间的贡献。

2.根据权利要求1所述的一种基于多任务学习的行人重识别方法，其特征在于：步骤1)具体包括：

1.1)采用高斯混合模型检测行人图像前景；

1.2)根据步骤1.1的检测结果，若存在运动前景的视频帧，采用预训练的行人检测器对行人进行检测，精确定位行人位置，并从视频帧中截取对应区域图像作为行人图像；

1.3)根据步骤1.1的检测结果，若高斯混合模型未检测到运动前景，则行人检测器不执行；

1.4)采用人工标注方式将不同摄像机上提取的同一行人标注为同一个类，并赋予一个编号，每类行人图像不少于预设的样本个数；而不同类行人图像之间采用不同的编号表示；每个行人的属性标签进行手工标注；迭代上述样本收集过程，当训练数据集规模包含预设数量的行人图像时，可停止收集数据。

3.根据权利要求1所述的一种基于多任务学习的行人重识别方法，其特征在于：步骤2)具体包括：

2.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；

2.2)在行人重识别数据上预训练深度卷积神经网络模型时，利用了样本身份信息和属性信息分别对深度卷积网络模型进行微调，在ImageNet数据集上预训练的ResNet50网络模型，添加平均池化层，在平均池化层之后***一个dropout层。

4.根据权利要求1所述的一种基于多任务学习的行人重识别方法，其特征在于：步骤3)具体包括：

3.1)数据集上获取图像组，图像组包含身份标签以及属性标签；

3.2)使用损失函数进行身份预测，根据身份识别分类网络获取行人全局图像的预测概率；

3.3)根据预测概率定义身份分类网络中的损失函数。

5.根据权利要求1所述的一种基于多任务学习的行人重识别方法，其特征在于：步骤4)具体包括：

4.1)定两张图像I,J,通过身份识别网络提取图片对应高级特征f_a,f_b；

4.2)根据步骤4.1所提取的特征，使用对比损失函数进行相似性估计；

4.3)根据一组图像的损失函数，计算每个batch中N个图像对的验证损失。

6.根据权利要求1所述的一种基于多任务学习的行人重识别方法，其特征在于：步骤5)具体包括：

5.1)给定样本图像I,假设含有m个类别的属性；

5.2)使用损失函数进行属性预测，根据属性分类网络获取行人图像属性的预测概率；

5.3)根据预测概率定义属性分类网络中的损失函数。

7.根据权利要求1所述的一种基于多任务学习的行人重识别方法，其特征在于：步骤7)具体包括：

7.1结合上述步骤3)、步骤4)、步骤5)、步骤6)产生的四个损失来生成最终的多任务损失；

7.2使用参数α平衡了身份和属性之间的损失；

7.3使用参数β平衡了分类和验证之间的损失。

Images