CN111709364A - 基于视角信息和批特征擦除的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于视角信息和批特征擦除的行人再识别方法，属于计算机视觉和模式识别的技术领域。该方法主要通过PSE网络模型的构建、PSE模型训练和BFE网络模型的构建来实现行人再识别。本发明通过视角信息与批特征擦除相结合的方法在三个数据集上都有良好的泛化能力和鲁棒性。本发明使用三种注意力机制的方法可以取得更好的识别效果，其Rank‑1的精度比单独的视角特征注意力提高了0.5％，比单独的CBAM注意力提高了0.2％；其mAP结果比单独的视角特征注意力提高了1.3％，比单独的CBAM注意力提高了1.2％，具有良好的使用效果。

Description

基于视角信息和批特征擦除的行人再识别方法

技术领域

本发明属于计算机视觉和模式识别的技术领域，具体涉及一种基于视角信息和批特征擦除的行人再识别方法。

背景技术

行人再识别是指对非重叠摄像头拍摄到的行人图片进行匹配。在实际应用当中，监控摄像头数目较多，行人目标受到不同摄像头的硬件差异和环境差异的影响，使得同一行人的图像受到背景变化、光照变化、姿态变化以及遮挡等问题带来的影响。因此，如何针对这些影响选择判别性能强的图像特征，如何建立适当的模型为行人再识别提供更为高效稳健的方法，是本发明所要解决的问题。当前的行人再识别研究，往往只针对一种特征进行模型的优化，全局特征或局部特征。因此，本发明提出一种可以充分利用行人图像全局特征和细粒度特征的方法，提取行人图片的视角特征作为全局特征，利用批特征擦除的方法来提取行人图片的细粒度特征，两种特征的联合学习使得模型可以提取到更具判别力的图像特征。在建立模型的过程当中，采用注意力机制对复杂结构进行优化，并且形成了多个注意力共同作用的机制，从而不仅可以保证行人再识别的准确率，还能减小模型的参数量，提高模型的泛化性能。

发明内容

本发明的目的在于提供一种一种可以充分利用行人图像全局特征和细粒度特征，提取行人图片的视角特征作为全局特征的基于视角信息和批特征擦除的行人再识别方法。

基于视角信息和批特征擦除的行人再识别方法，包括如下步骤：

1)PSE网络模型的构建：以Resnet50为基本结构，Block1，Block2，Block3，Block4分别对应Resnet50的相应Block结构，在Block1之后加入一个视图分类器分支，该分支对行人图像进行一系列卷积操作之后，利用softmax得出关于行人图像“前、后、侧”方位的概率值，该值对图像的视角朝向做出预测；

2)PSE模型训练：该模型训练主要通过以下方法实现：

①对Resnet50的相关结构加载ImageNet预训练的权重参数作为初始化；

②使用含有方位标签的RAP数据集来训练视图分类器；

③将训练好的视图分类器迁移到PSE网络中，将视图分类器和Block1、Block2、Block3进行参数固定，使用行人再识别数据集训练视角单元，使得视角单元参数初始化；

④对所有的行人图像，采用DeeperCut模型提取行人全身14个关节点信息；

⑤将所提取的14个关节点作为输入，此时输入为17通道，固定所有的Block结构，微调网络的第一层和最后分类层，使网络适应17通道的输入；

⑥使用RAP数据集提取的关节点信息微调视图分类器；

⑦采用行人再识别数据集进行网络模型的训练；

3)BFE网络模型的构建：以Resnet50为基本结构，提取Global branch和Featureerasing branch两个分支，在Feature erasing branch分支，先加入一个Bottleneck结构，随后引入Mask结构，该结构对同一batch中的特征做随机擦除，且擦除区域相同，然后对剩余特征进行最大池化和降维，得到图像的细粒度特征，最后将两个分支提取到的特征向量融合作为输入行人图片的最终特征向量。

进一步地，所述步骤1)中当预测图像的视角方向为“前”，则softmax得出的“前”的概率值大，“后”和“侧”的概率值小。

进一步地，所述步骤3)中对BFE的批特征进行擦除时，当行人再识别的所有输入图像大致对齐的时候，该方法可以使同一批次的特征擦除相同的语义区间。

进一步地，所述步骤3)中在Block3之后加入视角单元结构，不同的视角单元用来学习行人图像不同的方位信息，批特征擦除分支在Block3结构之后加入，该分支由一个Block4结构、一个Bottleneck结构继续提取深度特征，之后经过批特征擦除方法，再进行池化、降维等操作，最终得到图像的细粒度特征。

进一步地，所述每个视角单元由一个1×1卷积层、一个卷积块注意模块，即CBAM、一个1×1卷积层，一个Batch normalization层和一个ReLu层构成，所述CBAM模块对输入的feature map按照两个独立的维度，即通道和空间做注意力映射。

进一步地，所述另一种网络模型训练过程包括如下步骤：

1)对Resnet50网络部分，加载其在ImageNet上训练好的权重参数，对骨架网络部分进行初始化；

2)使用RAP数据集训练视图分类器，学习率设定为0.0001；

3)将视图分类器和Resnet50相关结构参数固定，使用行人再识别数据集，仅微调视角单元部分和最后的行人身份标签分类层；

4)使用行人再识别数据集对整个网络进行训练。

与现有技术相比，本发明的有益效果是：

1)本发明中BFE的批特征擦除方法的优势在于，当行人再识别的所有输入图像大致对齐的时候，该方法可以使同一批次的特征擦除相同的语义区间，使得模型对剩余的细粒度特征具有良好的学习效果。

2)本发明中引入CBAM模块，对每一个视角单元的特征再进行通道和空间维度上的注意力，这三个注意力机制共同作用，极大地丰富了高层次特征的提取，使得三个不同的视角单元可以最大程度上学习到更具有差异性的特征。因而，改进的视角单元可以在简化网络结构的同时，保证行人再识别的精度。

3)本发明通过视角信息与批特征擦除相结合的方法在三个数据集上都有良好的泛化能力和鲁棒性。

4)本发明使用三种注意力机制的方法可以取得更好的识别效果，其Rank-1的精度比单独的视角特征注意力提高了0.5％，比单独的CBAM注意力提高了0.2％；其mAP结果比单独的视角特征注意力提高了1.3％，比单独的CBAM注意力提高了1.2％。

具体实施方式

下面实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

基于视角信息和批特征擦除的行人再识别方法，包括如下步骤：

1)PSE网络模型的构建：以Resnet50为基本结构，Block1，Block2，Block3，Block4分别对应Resnet50的相应Block结构，在Block1之后加入一个视图分类器分支，该分支对行人图像进行一系列卷积操作之后，利用softmax得出关于行人图像“前、后、侧”方位的概率值，该值对图像的视角朝向做出预测；

2)PSE模型训练：该模型训练主要通过以下方法实现：

①对Resnet50的相关结构加载ImageNet预训练的权重参数作为初始化；

②使用含有方位标签的RAP数据集来训练视图分类器；

③将训练好的视图分类器迁移到PSE网络中，将视图分类器和Block1、Block2、Block3进行参数固定，使用行人再识别数据集训练视角单元，使得视角单元参数初始化；

④对所有的行人图像，采用DeeperCut模型提取行人全身14个关节点信息；

⑤将所提取的14个关节点作为输入，此时输入为17通道，固定所有的Block结构，微调网络的第一层和最后分类层，使网络适应17通道的输入；

⑥使用RAP数据集提取的关节点信息微调视图分类器；

⑦采用行人再识别数据集进行网络模型的训练；

3)BFE网络模型的构建：以Resnet50为基本结构，提取Global branch和Featureerasing branch两个分支，在Feature erasing branch分支，先加入一个Bottleneck结构，随后引入Mask结构，该结构对同一batch中的特征做随机擦除，且擦除区域相同，然后对剩余特征进行最大池化和降维，得到图像的细粒度特征，最后将两个分支提取到的特征向量融合作为输入行人图片的最终特征向量。

所述步骤1)中当预测图像的视角方向为“前”，则softmax得出的“前”的概率值大，“后”和“侧”的概率值小。

所述步骤3)中对BFE的批特征进行擦除时，当行人再识别的所有输入图像大致对齐的时候，该方法可以使同一批次的特征擦除相同的语义区间。在Block3之后加入视角单元结构，不同的视角单元用来学习行人图像不同的方位信息，批特征擦除分支在Block3结构之后加入，该分支由一个Block4结构、一个Bottleneck结构继续提取深度特征，之后经过批特征擦除方法，再进行池化、降维等操作，最终得到图像的细粒度特征。所述每个视角单元由一个1×1卷积层、一个卷积块注意模块，即CBAM、一个1×1卷积层，一个Batchnormalization层和一个ReLu层构成，所述CBAM模块对输入的feature map按照两个独立的维度，即通道和空间做注意力映射。

所述另一种网络模型训练过程包括如下步骤：

1)对Resnet50网络部分，加载其在ImageNet上训练好的权重参数，对骨架网络部分进行初始化；

2)使用RAP数据集训练视图分类器，学习率设定为0.0001；

3)将视图分类器和Resnet50相关结构参数固定，使用行人再识别数据集，仅微调视角单元部分和最后的行人身份标签分类层；

4)使用行人再识别数据集对整个网络进行训练。

在训练过程中，将所有的输入图像大小重置为384×128，并且采用归一化和随机水平翻转来做数据增强。由于采用了水平翻转，因而本发明实验将“左、右”方位统一归类为“侧”。批特征擦除分支中，将擦除的长宽比率分别设置为rh＝0.5和rw＝1.0。在整个网络训练的过程中，设定batch size为128，采用Adam优化器，训练700个epoch。学习速率随epoch的增加而调整，当epoch小于50时，学习速率设置为1e-4×(epoch/5+1)，当epoch大于50且小于200时，学习速率为1e-3，当epoch大于200小于300时，学习速率为1e-4，在300个epoch之后，学习速率衰减为1e-5。损失函数选用BFE模型训练时的损失函数，即Soft marginbatch-hard triplet loss和softmax loss之和。其中Soft margin batch-hard tripletloss定义如下：

式中，P为一个batch中不同行人的个数，K为每个行人的图片数。为锚样本，为正样本，为负样本，这三个样本构成了三元组。这里选择与锚样本有相同的行人身份，但相似度最远的图像特征为正样本：选择与锚样本有不同的行人身份，但相似度最近的图像特征为负样本。表示学习到的特征向量，表示计算样本间的欧式距离。

在测试过程中，同样将行人图像重置为384×128，并进行归一化。值得注意的是，测试过程将查询集Xquery和候选集Xgallery的所有图像都做了水平翻转，将翻转后的图像学***均，作为最终行人图像的特征向量。对于查询集中的每一张图像q的特征向量f(q)，计算它与候选集中图像g的特征向量f(g)的欧氏距离并排序。根据欧氏距离所得的相似性，判定如果行人ID相同，相机ID不同，则为识别正确。

1.实验结果与分析

本次实验采用基于Python3.7的深度学习框架Pytorch1.0.1，在三个公开的行人再识别数据集Market1501、DukeMTMC-reID和CUHK03上进行相关实验。与其它几种先进方法相比较，本发明在Rank-1和mAP指标上都达到了良好的识别精度，表明本发明方法具有较好的行人再识别性能。

1.1本发明方法与其它ReID方法的识别性能比较

为了证明本发明方法具有先进的行人再识别性能，选择目前最新的九种行人再识别方法进行对比实验，实验结果如表1.1所示。

由表1.1可知，本发明方法在三个数据集上的Rank-1精度和mAP精度均有明显提升。在数据集Market1501上，Rank-1精度比算法HA-CNN的Rank-1高出3.6％，mAP精度高出11.1％；比算法PCB的Rank-1精度高出2.4％，mAP精度高出9.5％。在数据集DukeMTMC-reID上，本发明的Rank-1精度比算法PCB的Rank-1提高6.9％，mAP精度提高11.9％；比算法HA-CNN的Rank-1精度提高8.3％，mAP精度提高13.4％。在数据集CUHK03-label上，本发明的Rank-1精度比算法DaRe的Rank-1高出14.7％，mAP精度高出16.1％；比算法BFE的Rank-1精度高出1.2％，mAP精度高出1.3％。在数据集CUHK03-detect上，本发明Rank-1精度比BFE高出1.8％，mAP精度高出2.4％；比算法DaRe的Rank-1精度高出14.0％，mAP精度高出15.7％。在与MGN方法比较时，本发明在数据集Market1501和DukeMTMC-reID的Rank-1精度和mAP精度均达不到最优，但是在数据集CUHK03-label上，Rank-1精度和mAP精度分别超过MGN12.8％和10.3％，在数据集CUHK03-detect上，Rank-1精度超过MGN10.5％，mAP精度超过8.7％。由于CUHK03数据集训练样本较少，给网络模型的训练增加了难度，容易产生过拟合现象，因而本发明具有更好的识别性能和泛化能力。此外，MGN模型具有8个特征提取分支，11个损失函数，其网络结构十分复杂。在与BFE模型比较时，数据集Market1501和DukeMTMC-reID的Rank-1精度只有较小的提升(+0.4％,+0.1％)，但是mAP精度都有较为明显的提高(+1.8％,+1.4％)。实验证明，视角信息与批特征擦除相结合的方法在三个数据集上都有良好的泛化能力和鲁棒性。

1.2采用不同视角单元模块的识别性能比较

由于PSE网络的视角单元由三个Block4组成，每个Block4都具有超过20个layer，结构复杂，参数量过大。如果只对PSE网络的视图分支和BFE网络的批擦除分支进行简单的组合，将导致计算内存不足。因而本发明提出了一个简单有效的视角单元结构。为了验证该结构的性能，我们在视角信息分支上做了对比实验，实验结果如表1.2所示：

1.3采用不同注意力机制的识别性能比较

视图分类器预测出的分数与视角单元进行加权的过程实质上是一种对特征属性的注意力机制，在这种注意力机制的基础上，通过引入CBAM模块，使每一个视角单元进行通道注意和空间注意，从而形成三个注意力同时作用的机制。为了验证三注意力机制的有效性，本发明通过实验进行验证。实验结果如表1.3所示。

该实验同样以本发明提出模型的视角信息分支作为基本结构，数据集采用Market1501。其中，only view attention表示，在视角单元结构中不加入CBAM模块，只引入视图分类器对图像方位的预测做特征注意力；only cbam attention表示，不使用视图分类器，只使用一个带有CBAM模块的视角单元结构；view and cbam attention表示完整的改进视角信息分支，既有CBAM注意力模块，也有视角信息的特征注意力。由实验结果可知，单独使用CBAM注意力模块的方法比单独使用视角特征注意力的方法略有优势，其Rank-1精度比单独的视角特征注意力高出0.3％，mAP精度高出0.1％。而使用三种注意力机制的方法可以取得更好的识别效果，其Rank-1的精度比单独的视角特征注意力提高了0.5％，比单独的CBAM注意力提高了0.2％；其mAP结果比单独的视角特征注意力提高了1.3％，比单独的CBAM注意力提高了1.2％。因此使用三个注意力机制的方法使模型性能有了更好的提升，验证了三注意力机制的有效性。

1.4多种特征融合的识别性能比较

本发明将视角信息和批特征擦除方法相结合，视角信息作为全局特征，批特征擦除方法学习细粒度特征。为了验证这两种特征融合使网络模型具有更良好的判别性能，本发明通过实验进行验证，实验结果如表1.4所示。

特征融合对比实验采用数据集Market1501。View information branch为本发明模型的视图信息分支，该分支学习行人图像的全局特征。Feature erasing branch为本发明的特征擦除分支，该分支学习行人图像的细粒度特征。All为整个网络结构，即将学习到的全局特征和细粒度特征相融合。从表1.4中可知，在数据集Market1501上，特征擦除分支比视图信息分支的Rank-1精度提高了0.1％，mAP精度提高了1.7％，略有优势。但两个分支在同时作用时，Rank-1精度和mAP精度都达到了最优，分别为94.8％和86.8％。较单独的视图信息分支Rank-1提升了1.9％，mAP提升了4.4％；较单独的特征擦除分支Rank-1提升了1.0％，mAP提升了2.7％。

由以上分析可知，将视角信息分支学习到的全局特征与特征擦除分支学习到的细粒度特征相结合的方法，比单独的视角特征和单独的细粒度特征表征性能更强，识别精度更高，证明了两种特征融合算法的有效性。

1.5批特征擦除模块在其它模型上的识别性能比较

本发明对PSE模型的视角信息结构做出改进，并对该结构添加BFE模块分支，从而提取更具判别力的行人特征。实验表明，BFE模块可以有效提升模型的再识别准确率，并且在多个数据集上具有很好的泛化能力。为了验证BFE模块是否可以在其它网络模型上提升识别精度，本发明采用另外两种网络模型进行实验，实验结果如表1.5所示。

该实验采用数据集Market1501，网络模型采用IDE和PCB。IDE是一个常用的行人再识别基础结构，对Resnet50做了细微的改动，主要提取行人图像的全局特征。PCB网络对行人特征进行均匀划分，共分为了6块，每块特征都采用各自的loss进行模型的训练，着重挖掘行人图像的局部特征。在采用IDE模型进行实验时，损失函数选择triplet loss，margin设定为1.0，学习率和优化器与本发明实验设定相同。IDE+BFE为在IDE模型的基础上，为它添加BFE分支。从实验结果可知，增加了BFE分支的Rank-1精度和mAP精度比IDE模型分别提升了2.1％和3.0％。学习率以0.1为基础，在40个epochs之后降低到0.01。其Rank-1精度为92.2％，mAP精度为77.8％。在对PCB模型增加BFE模块后，其精度反而下降，Rank-1精度仅为88.3％，mAP精度为70.4％，远不及PCB的实验结果。由于PCB模型提取的是行人图像的局部特征，再增加BFE模块提取细粒度特征并不能使识别精度得到提升，反而成为了一种干扰特征，而IDE模型主要提取全局特征，在有全局特征的监督和补充下，细粒度特征的提取就可以提升模型的识别精度。

由以上分析可知，批特征擦除模块在与两种网络模型相结合的比较中，在提取全局特征的IDE模型上提升了识别精度，在提取局部特征的PCB模型上并未取得良好的实验效果，因而BFE模块在有全局特征的监督和补充下，可以提升模型的识别精度。

1.6采用不同损失函数的识别性能比较

本发明在训练过程中采用了Soft margin batch-hard triplet loss和softmaxloss相结合的损失函数。利用两种损失函数联合的策略，改进模型的鉴别能力，有效提高行人再识别的准确率。为了验证Soft margin batch-hard triplet loss损失函数的优越性能，本发明将与基准triplet loss损失函数做对比实验，将triplet loss与softmax loss损失函数的联合与本发明损失函数进行识别性能的比较，实验结果如表1.6所示。

在与基准triplet loss比较中，采用Soft margin batch-hard triplet loss损失函数可以达到识别精度最优解，并且该损失函数避免了margin阈值的设定，使用该损失函数可以使模型训练快速有效。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于视角信息和批特征擦除的行人再识别方法，其特征在于包括如下步骤：

1)PSE网络模型的构建：以Resnet50为基本结构，Block1，Block2，Block3，Block4分别对应Resnet50的相应Block结构，在Block1之后加入一个视图分类器分支，该分支对行人图像进行一系列卷积操作之后，利用softmax得出关于行人图像“前、后、侧”方位的概率值，该值对图像的视角朝向做出预测；

2)PSE模型训练：该模型训练主要通过以下方法实现：

①对Resnet50的相关结构加载ImageNet预训练的权重参数作为初始化；

②使用含有方位标签的RAP数据集来训练视图分类器；

③将训练好的视图分类器迁移到PSE网络中，将视图分类器和Block1、Block2、Block3进行参数固定，使用行人再识别数据集训练视角单元，使得视角单元参数初始化；

④对所有的行人图像，采用DeeperCut模型提取行人全身14个关节点信息；

⑤将所提取的14个关节点作为输入，此时输入为17通道，固定所有的Block结构，微调网络的第一层和最后分类层，使网络适应17通道的输入；

⑥使用RAP数据集提取的关节点信息微调视图分类器；

⑦采用行人再识别数据集进行网络模型的训练；

3)BFE网络模型的构建：以Resnet50为基本结构，提取Globalbranch和Featureerasing branch两个分支，在Feature erasing branch分支，先加入一个Bottleneck结构，随后引入Mask结构，该结构对同一batch中的特征做随机擦除，且擦除区域相同，然后对剩余特征进行最大池化和降维，得到图像的细粒度特征，最后将两个分支提取到的特征向量融合作为输入行人图片的最终特征向量。

2.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述步骤1)中当预测图像的视角方向为“前”，则softmax得出的“前”的概率值大，“后”和“侧”的概率值小。

3.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述步骤3)中对BFE的批特征进行擦除时，当行人再识别的所有输入图像大致对齐的时候，该方法可以使同一批次的特征擦除相同的语义区间。

4.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述步骤3)中在Block3之后加入视角单元结构，不同的视角单元用来学习行人图像不同的方位信息，批特征擦除分支在Block3结构之后加入，该分支由一个Block4结构、一个Bottleneck结构继续提取深度特征，之后经过批特征擦除方法，再进行池化、降维等操作，最终得到图像的细粒度特征。

5.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述每个视角单元由一个1×1卷积层、一个卷积块注意模块，即CBAM、一个1×1卷积层，一个Batch normalization层和一个ReLu层构成，所述CBAM模块对输入的feature map按照两个独立的维度，即通道和空间做注意力映射。

6.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述另一种网络模型训练过程包括如下步骤：

1)对Resnet50网络部分，加载其在ImageNet上训练好的权重参数，对骨架网络部分进行初始化；

2)使用RAP数据集训练视图分类器，学习率设定为0.0001；

3)将视图分类器和Resnet50相关结构参数固定，使用行人再识别数据集，仅微调视角单元部分和最后的行人身份标签分类层；

4)使用行人再识别数据集对整个网络进行训练。