CN112016661A - 一种基于擦除显著性区域的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于擦除显著性区域的行人重识别方法，包括：(1)从训练数据中随机选择P个不同的人，每个人随机选取K张图片，得到P×K张图片作为一次训练数据；(2)根据图片之间的相似程度，得到图片的显著性区域；(3)根据预先设置的擦除区域和概率，擦除一定比例的显著性区域；(4)提取擦除了显著性区域的图片的特征并且利用自适应全局池化层来进行池化操作，利用该特征计算误差；(5)计算原图的特征向量，利用该特征向量计算误差；(6)结合步骤(4)和(5)得到的误差，回传梯度训练模型；(7)利用训练好的模型进行行人重识别应用。利用本发明，可以帮助模型学到更佳丰富的特征表达，提升重识别效果。

Description

一种基于擦除显著性区域的行人重识别方法

技术领域

本发明属于行人重识别领域，尤其是涉及一种基于擦除显著性区域的行人重识别方法。

背景技术

行人重识别是一个非常重要的研究领域，给定一张人的图片，它需要返回在数据库中这个人的另外图片。由于深度学习的广泛应用，在过去几年，该领域有了飞快的发展和进步。但是由于遮挡，行人姿态的变化，背景的影响，相机视角的不同，行人重识别仍然是一个非常具有挑战性的任务。而行人重识别在安防领域有着非常重要的作用，比如可以查询在游乐园与父母走散的儿童，利用城市的摄像头快速定位追踪犯罪嫌疑人等。因此如何提升重识别的性能已经引起了学术界和各国政府的广泛关注。

作为一个行人级别的查询任务，它需要尽可能学到丰富的视觉信息来提升它的准确性。但是随着训练的不断进行，模型会越来越关注显著性容易判断的视觉信息，从而导致模型忽视其他的视觉特征，降低它的准确性，尤其是2张图片的行人区分不明显的时候，效果会大大下降。比如2张图片，行人都穿着绿色的大衣，背着棕绿色的包，但是他们的鞋子是不一样的，而由于模型只关注显著性区域而忽视了其他特征，模型会根据他们的都穿着绿色的大衣和包这些信息，认为2张图片是同一个人，给出了错误的结果。针对这个现象，学术界和工业界提出了一些列的工作。一些方法利用多分支结构去学习不同区域的视觉信息，最后再结合不同分支学习的特征来得到更加丰富的特征表达；一些方法也会利用注意力机制去挖掘更加丰富的视觉信息；也有一些方法利用擦除机制，随机擦除部分区域来迫使模型学得更加丰富的特征；例如2019年发表在国际视觉会议IEEE InternationalConference on Computer Vision上的《Batch DropBlock Network for Person Re-identification and Beyond》，公布了一种BDB的擦除方法，然而该方法是随机擦除部分区域来提升模型的结果，并不是通过擦除显著性区域的。

发明内容

本发明提供了一种基于擦除显著性区域的行人重识别方法，通过擦除显著性区域使模型学到更加丰富的特征，从而显著提升重识别效果。

一种基于擦除显著性区域的行人重识别方法，包括以下步骤：

(1)选择训练数据集，从训练数据集中随机采样，构建多组训练数据；每组训练数据的构建方式为：从训练数据集中随机选取P个不同人图片，每个人随机选取K张图片，得到P×K张图片作为一组训练数据；

(2)对于每组训练数据，根据图片的相似程度，定位得到图片的显著性区域；

(3)根据预先设置的擦除区域和概率，擦除一定比例的显著性区域；

(4)提取擦除了显著性区域的图片的特征并且利用自适应全局池化层来进行池化操作，缓解过度擦除的问题，利用该特征计算误差；

(5)计算原图的特征向量，防止信息损失，利用该特征向量计算误差；

(6)结合步骤(4)和(5)得到的误差，回传梯度训练网络模型；

(7)模型训练完毕，将待查询行人图片输入模型，将待查询行人图片的特征向量和图片库中每张图片特征向量进行相似度排序，选择排序最靠前的图片的身份作为最终识别结果。

本发明的方法，通过擦除显著性区域使模型学到更加丰富的特征，从而显著提升重识别效果，并且利用一种自适应的全局池化方式，缓解了过度擦除的问题，能更容易地应用部署到实际环境中。同时本发明提出的定位显著性区域的方法可以有效的解释模型的查询结果，进行可视化展示。并且不像目前其他可视化方法，本文的方法对模型的结构没有特殊要求。

步骤(2)的具体过程如下：

(2-1)对于P个不同人图片中的每张图片，在其对应的K张图片中，找到和它余弦距离最小，并且属于同一个人的图片，计算它们之间的余弦距离；

(2-2)利用该余弦距离计算得到这个查询对的权重，将该权重乘以它们的余弦距离作为该查询对的贡献程度；

(2-3)将所有P张图片的贡献程度进行累加，作为该组训练数据的整体相似度，然后回传梯度；

(2-4)将梯度与特征值进行相乘，再缩放到输入图片的大小，得到最终的显著性图M；M中的值表示该位置对最终的匹配结果的贡献程度；公式如下：

式中，

为定位显著性区域的特征值，

为梯度，i,j表示像素位置，k表示第k层特征图，ReLU为激活函数；M_i,j表示原始图像域中(i，j)位置的重要程度

步骤(2-1)中，所述余弦距离的计算公式为：

式中，f_q和f_g分别为2张图片对应的特征表达，分子为向量的点乘，||f_q||和||f_g||表示特征的二范式。

步骤(3)的具体过程如下：

(3-1)首先预设一个擦除概率p和擦除数量r；

(3-2)从0-1之间随机采样得到一个值p₀；

(3-3)如果p₀大于p，不擦除显著性区域，输出原图，直接进行步骤(4)；

(3-4)如果p₀小于等于p，对步骤(2)得到的显著性图M进行从高到低的排序；

(3-5)找到显著性图M中属于值最大的前r个区域的坐标值；

(3-6)将这些坐标值在原图对应的像素值设置为0，得到擦除显著性区域后的图。

步骤(4)的具体过程如下：

(4-1)将步骤(3)处理后的图片输入构建的网络模型中；

(4-2)利用网络模型前面的基础模块得到图像的特征图；

(4-3)利用自适应的池化操作P-pooling，得到特征向量；计算公式为：

式中，A表示输入的特征图，A^k表示第k层，l为模型学到的参数，在训练误差下监督学习；当l→∞，P-pooling为全局最大值池化，当l＝1时，P-pooling为全局均值池化操作；

(4-4)利用特征向量和网络模型的后续模块计算训练误差，所述的训练误差包括softmax和triplet loss。

可选择地，所述的网络模型采用resnet50作为基础网络，所述的基础模块为res_conv4&5，即resnet50的第4个和第5个layer，所述的后续模块为Batch Normalization。

为了缓解过度擦除问题，防止擦除过多的显著性区域导致损失，本发明的步骤(4)采取了一种自适应池化操作，它结合了全局平均值池化操作和全局最大值池化的优点。既有全局平均池化操作的鲁棒性又能够像全局最大值池化高效的提取显著性区域，一定程度上缓解了过度擦除问题。

同时，本发明的步骤(5)还会利用全部的原始图片来训练，进一步防止信息丢失。

步骤(5)的具体过程如下：

(5-1)输入完整的原始图片进入网络；

(5-2)利用网络模型前面的基础模块得到图像的特征图；

(5-3)池化特征向量并利用网络模型的后续模块计算训练误差，所述的训练误差包括softmax和triplet loss。

在具体检索的时候，本发明将擦除显著性区域的分支的特征和使用原图的分支的特征合并在一起作为特征表达来进行匹配。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出了一种全新的定位显著性区域的方法，对模型的结构没有特殊的要求，并且找到的显著性区域可以有效的解释查询结果。

2、基于提出的定位显著性区域，本发明提出了一种全新的训练方法，通过擦除显著性区域来迫使模型学到更加丰富特征表达；同时利用一种自适应池化操作，有效的缓解过度擦除问题。

附图说明

图1为本发明一种基于擦除显著性区域的行人重识别方法的流程示意图；

图2为本发明整体模型架构示意图；

图3为本发明中擦除方法的示意图；

图4为本发明定性分析及可视化展示的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于擦除显著性区域的行人重识别方法，包括以下步骤：

S01，采样构造数据。

定位显著性区域时需要有查询图片和数据库图片，故需要对训练数据进行构造划分。本发明采用随机身份采样的方法。首先随机选取P个人，然后每个人选取K张图片构成一次训练数据。

S02，定位显著性区域。

对于每张图片q，根据它返回的数据库图片g来定位找到它的显著性区域，对于现在阶段的模型，哪些部分是显著性区域，模型主要根据图片中的什么信息，将查询图片q和数据库图片g匹配上的,认为2者时同一人。因此本发明需要得到它的显著性图M。M的值表示该位置对q和g匹配结果的贡献程度，值越大说明该位置的像素越显著，对模型认为2者时同一个人发挥了更加重要的作用。

本发明定义f_q和f_g为2张图片对应的特征表达，用余弦距离表达2者之间的距离。

为了得到显著性图M，首先计算定位显著性区域的特征值

相对于S_q,g的梯度

i,j表示像素位置，k表示第k层特征图。认为

表达了

对最终匹配的贡献程度。

根据得到权重

可以在特征通道层数这个纬度进行权值求和，将最后得到的值输入ReLU激活函数后得到最终的显著图M。

对于每张图片q，需要找到和它余弦距离最小，并且属于同一个人的图片g，我们认为这2张图片构成一组查询图片和数据库返回图片对。

但在训练中，并没有训练数据的划分，而在前期采用了随机身份采样，每批训练数据，随机选取P个人，然后每个人选取K张图片构成一次训练数据。

所以对每张图片q，找到和它余弦距离最小，并且属于同一个人的图片g，认为这2张图片构成一组查询图片和数据库返回图片对。然后利用上述的流程计算得到M_i,j。

由于2张不同的图片，它们可能会找到同一张图片作为它们的数据库图片g，为了让相似度更高的图片对发挥更加重要的作用，利用

来建模权重，S_i,j越高的图片对发挥更加重要的作用。来建模整批训练数据的权重，然后回传一次梯度来得到每批训练数据的显著性图。

S03，擦除方法。

如图3所示，擦除显著性区域的步骤如下：

首先预设设一个擦除概率p和擦除数量r，然后我们从0-1之间随机采样得到一个值p₀，如果p₀大于p，则不擦除显著性区域，输出原图，直接进行步骤4。

如果p₀小于等于p，对步骤2得到的显著性图M进行从高到低的排序，找到显著性图M中属于值最大的前r个区域的坐标，将这些坐标在原图对应的像素值设置为0，这样我们得到擦除显著性区域后的图。

S04，得到擦除显著性区域的图片的训练损失。

如图2所示，采用resnet50作为基础网络，输入擦除显著性区域的图片进入网络，利用了一种自适应的池化操作P-pooling，得到特征向量。P-pooling的具体计算公式如下图所示：

A表示输入的特征图,A^k表示第k层，l为模型学到的参数，在训练误差下监督学习。当l→∞，P-pooling为全局最大值池化，当l＝1时，P-pooling为全局均值池化操作。

如图2所示，接下来利用特征向量和后续模块计算训练误差，训练误差包括softmax和triplet loss。

BESM为我们提出的擦出方法，即步骤2和3，Before res_conv4表示resent50模型里面的layer1，layer2，layer3。GAP表示Gobal average pooling，P-pooling即步骤四中讲述的自适应的池化操作。Inference Vector表示最后检索时候使用的向量。BN表示BatchNormalization。

S05，得到擦除显著性区域的图片的训练损失。

如图2所示，采用resnet50作为基础网络，输入原始完整的图片进入网络，利用前面的基础模块得到图像的特征图，池化特征向量和利用后续模块计算训练误差，训练误差包括softmax和triplet loss。

S06，更新训练模型。

根据步骤(4)和(5)得到的误差计算梯度，更新训练模型。

在具体检索的时候，我们将擦除显著性区域的分支的特征和使用原图的分支的特征合并在一起作为特征表达来进行匹配。

为验证本发明方法的有效性，接下来介绍本发明和已有方法的对比实验。

为了验证本发明的有效性，在行人重识别和车辆重识别的5个数据集进行实验，进行了定量和定性的分析。在行人重识别上，采用了Market-1501,MSMT17和DukeMTMC-reID上进行实验。

本发明对比实验结果如表1所示。表1中，第一栏为基础模型，中间栏为本方法的各个细节的逐个加入。本发明的方法对比基础模型(Base)有明显提升，并在各个细节上都进行了对比试验证明其有效性。

表1

本实验与当前效果最好的已发表方法进行了比较，结果如表2所示。Base为基础模型，最后一栏为本方法。总体来说本发明的方法相比于其他方法具有更高的准确率，并且在三个数据集上的大部分指标上都达到了目前的最好效果。

表2

除此之外，本实施例还具体展示了几个例子证明在加入本发明方法前后可以帮助模型学到更加丰富的特征信息，从而得到更好的结果，如图4所示。

图4中，“vis”是查询图像中显著区域的可视化展示，“query”表示查询图片，“rank-1”表示我们的返回。BESM表示本发明的擦除显著性区域的方法。(a)和(b)表明，本发明的方法通过发现更全面的功能来帮助模型找到正确的结果。在(c)和(d)中，本发明的方法和base给出了相同的正确的查询结果，但是，我们的方法发现了更多不同的显著区域，这进一步证明了本发明的有效性。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于擦除显著性区域的行人重识别方法，其特征在于，包括以下步骤：

(1)选择训练数据集，从训练数据集中随机采样，构建多组训练数据；每组训练数据的构建方式为：从训练数据集中随机选取P个不同人图片，每个人随机选取K张图片，得到P×K张图片作为一组训练数据；

(2)对于每组训练数据，根据图片的相似程度，定位得到图片的显著性区域；

(3)根据预先设置的擦除区域和概率，擦除一定比例的显著性区域；

(4)提取擦除了显著性区域的图片的特征并且利用自适应全局池化层来进行池化操作，缓解过度擦除的问题，利用该特征计算误差；

(5)计算原图的特征向量，防止信息损失，利用该特征向量计算误差；

(6)结合步骤(4)和(5)得到的误差，回传梯度训练网络模型；

(7)模型训练完毕，将待查询行人图片输入模型，将待查询行人图片的特征向量和图片库中每张图片特征向量进行相似度排序，选择排序最靠前的图片的身份作为最终识别结果。

2.根据权利要求1所述的基于擦除显著性区域的行人重识别方法，其特征在于，步骤(2)的具体过程如下：

(2-1)对于P个不同人图片中的每张图片，在其对应的K张图片中，找到和它余弦距离最小，并且属于同一个人的图片，计算它们之间的余弦距离；

(2-2)利用该余弦距离计算得到这个查询对的权重，将该权重乘以它们的余弦距离作为该查询对的贡献程度；

(2-3)将所有P张图片的贡献程度进行累加，作为该组训练数据的整体相似度，然后回传梯度；

(2-4)将梯度与特征值进行相乘，再缩放到输入图片的大小，得到最终的显著性图M；M中的值表示该位置对最终的匹配结果的贡献程度；公式如下：

式中，

为定位显著性区域的特征值，

为梯度，i,j表示像素位置，k表示第k层特征图，ReLU为激活函数；M_i,j表示原始图像域中(i，j)位置的重要程度

3.根据权利要求2所述的基于擦除显著性区域的行人重识别方法，其特征在于，步骤(2-1)中，所述余弦距离的计算公式为：

式中，f_q和f_g分别为2张图片对应的特征表达，分子为向量的点乘，||f_q||和||f_g||表示特征的二范式

4.根据权利要求1所述的基于擦除显著性区域的行人重识别方法，其特征在于，步骤(3)的具体过程如下：

(3-1)首先预设一个擦除概率p和擦除数量r；

(3-2)从0-1之间随机采样得到一个值p₀；

(3-3)如果p₀大于p，不擦除显著性区域，输出原图，直接进行步骤(4)；

(3-4)如果p₀小于等于p，对步骤(2)得到的显著性图M进行从高到低的排序；

(3-5)找到显著性图M中属于值最大的前r个区域的坐标值；

(3-6)将这些坐标值在原图对应的像素值设置为0，得到擦除显著性区域后的图。

5.根据权利要求1所述的基于擦除显著性区域的行人重识别方法，其特征在于，步骤(4)的具体过程如下：

(4-1)将步骤(3)处理后的图片输入构建的网络模型中；

(4-2)利用网络模型前面的基础模块得到图像的特征图；

(4-3)利用自适应的池化操作P-pooling，得到特征向量；计算公式为：

式中，A表示输入的特征图，A^k表示第k层，l为模型学到的参数，在训练误差下监督学习；当l→∞，P-pooling为全局最大值池化，当l＝1时，P-pooling为全局均值池化操作；

(4-4)利用特征向量和网络模型的后续模块计算训练误差，所述的训练误差包括softmax和triplet loss。

6.根据权利要求5所述的基于擦除显著性区域的行人重识别方法，其特征在于，所述的网络模型采用resnet50作为基础网络，所述的基础模块为res_conv4&5，表示resnet50的第4个和第5个layer，所述的后续模块为Batch Normalization。

7.根据权利要求5所述的基于擦除显著性区域的行人重识别方法，其特征在于，步骤(5)的具体过程如下：

(5-1)输入完整的原始图片进入网络；

(5-2)利用网络模型前面的基础模块得到图像的特征图；

(5-3)池化特征向量并利用网络模型的后续模块计算训练误差，所述的训练误差包括softmax和triplet loss。

Images