CN115050048B - 一种基于局部细节特征的跨模态行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于局部细节特征的跨模态行人重识别方法，它能引导网络充分挖掘行人的细节信息。提出的APMG能根据行人姿态生成每个heatmap的权重，并融合heatmap得到mask提取行人细节特征。由于APMG缺少下半身部分特征，提出的MC模块融合APMG与PCB，联合提取行人局部特征表示。进一步，提出的WIPA模块可以交互局部特征间的上下文信息，利用mask中包含的位置信息抑制切片特征中的背景信息。这使得两种局部特征提取方式相辅相成，取长补短。本申请将全局和局部细节特征联合作为行人的表征，在跨模态行人重识别任务取得了不错的效果。

Description

一种基于局部细节特征的跨模态行人重识别方法

技术领域

本发明涉及的是图像处理技术领域，具体涉及一种基于局部细节特征的跨模态行人重识别方法。

背景技术

给定分别来自不同模态的一张query图像和图像数据集 gallery，跨模态行人重识别的目的是在gallery中匹配与query身份相同的图像。由于它在公共安全领域的重要性，跨模态行人重识别已经成为重识别领域的热门问题。由于光谱，行人姿势和拍摄视角等变化，充分挖掘有区别性的行人身份特征是一个具有挑战性的任务。

为了充分捕捉行人信息，联合局部特征的行人表示方法成为跨模态行人重识别领域常用的设置。存在三种主流的局部特征提取方案包括切片，姿态估计和掩模过滤。常见的切片方法PCB采取对主干网络最后输出的特征图沿竖直方向均匀切割成几个条块。从上到下，每个条块表征人体的不同部分的特征。然后，采用损失函数约束这些局部特征使网络关注到局部有区别信息。虽然切片可以保证覆盖行人所有的部位，但切片难免会引入无关背景信息，且不能保证局部特征的对齐。

为了解决上述的问题，存在方法，如PGII,提出利用姿态估计定位行人部分位置。利用预训练的姿态估计器生成heatmap，并将 heatmap当作掩模提取局部特征。姿态估计可以帮助网络定位关节位置，解决了特征不对齐问题且一定程度过滤了背景信息。但是，姿态估计在行人重识别数据集的估计效果可能不准确，这会引入一些背景特征。此外，这些方法在前期提取局部特征时没有对heatmap进行区分，对行人的变化缺少鲁棒性，仍然可能引入背景信息。为了增强局部特征对不同行人的鲁棒性，方法MPANet利用深度网络模型学习mask来提取局部特征。但是缺少mask的标签，生成的mask很难稳定的关注身体某一部分，造成提取局部特征不对齐。

综上所述，本发明设计了一种基于局部细节特征的跨模态行人重识别方法。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种基于局部细节特征的跨模态行人重识别方法，在现有技术方案中引入三个模块，包括adaptive body part maskgeneration module(APMG),mask compensation(MC)scheme和weighted intra-partattention module(WIPA)。克服了当前局部特征方法存在的背景信息和特征不对齐等问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于局部细节特征的跨模态行人重识别方法，包括以下步骤：

步骤1、读取SYSU-MM01数据集，它包含两种模态(正常光，红外线)下的行人图像，并对数据集进行数据增强。将训练集划分为均匀的批量，每个批量包含来自8个身份的8张图像，每模态下各四张。将同一身份的一对跨模态图像输入到骨干网络Resnet-50中，提取全局特征图

步骤2、将图像对送入姿态估计网络GCM得到16个

根据每个heatmap在SYSU-MM01上的估计质量，筛选了9个高质量的heatmap来生成人体部位掩模。

步骤3、将被选的9个heatmap与全局特征图F_g送入 APMG(adaptive body partmaskgeneration module)模块。APMG能学习F_g上身体部位的贡献度自适应的生成每个heatmap的权重。将选择的heatmap分成top part和mid part两组。利用最大池化将heatmap下采样到到F_g的空间大小。然后，根据权重累加heatmap得到每个部分的

Mask被用来划分F_g提取top part和 midpart的局部特征F_{l_top},

步骤4、为了补偿APMG缺少的下半身信息，提出了MC(mask compensation)模块。MC采用PCB中提取局部特征的方式对全局特征沿垂直方向划分成三片，取最后一片

作为下本身的特征表征。然后将其与mask提取到的局部特征图联合进行全局池化得到局部特征向量f_local∈R^3×C。

步骤5、f_local将送入提出的WIPA(weighted intra-part attention module)模块挖掘intra-part间的上下文关系，同时抑制 low part特征中的背景信息。最后WIPA，会衡量每个部分的贡献度生成权重加权特征。池化后的全局特征向量f_g与f_local沿通道连接得到行人的表征。

步骤6、为了训练网络准确地捕获行人模态的不变身份特征，使用ID loss，CenterCluster Loss和Modality Learning Loss三个损失函数共同训练网络。

步骤7、分别对query与gallery集提取行人特征，将query集中图像与gallery集中的每一幅图像计算相似度。采用特征向量间的欧式距离作为相似度度量。最后将gallery集中的图像按相似度排序得到重识别结果。

作为优选，所述的步骤2具体为：将一对行人图像送入姿态估计网络GCM得到人体16个不同关节的heatmap。随机抽取行人图像，并观察其对应heatmap的质量。最终从16个heatmap中挑选了9个关节(胸,上颈部,头顶,左右肩，左臀,左右肘,左手腕)的9个

作为优选，所述的步骤3中的APMG能自适应的生成mask提取精炼的局部特征。APMG的输入由筛选后的

和主干网络输出的全局特征图F_g组成。具体而言，将筛选后的heatmap分为两组分别表示行人的P_top(胸,上颈部,头顶,左右肩),与P_mid(左臀, 左右肘,左手腕)。然后，将f_g送入的权重生成网络G_w(·)来生成每个 heatmap的权重W_{h_map}∈R^1×9。计算公式为:

W_{h_map}＝σ(G_w(GAP(F_g)))

σ(·)表示sigmoid函数，G_w(·)由卷积核大小为1的卷积组成。G_w(·) 的目的是根据全局特征学习heatmap对应人体部位的贡献程度，并生成相应权重。用生成的权重W_{h_map}对P_top和P_mid两组的heatmap加权求和得到对应部分的mask_top,

公式为：

mask_top＝W_{h_map}[P_top]^THeatmap[P_top]

mask_mid＝W_{h_map}[P_mid]^THeatmap[P_mid]

[P]表示取集合 P对应位置的元素。

用mask划分全局特征图F_g得到行人top part和mid part的特征 F_{l_top}，

局部特征的划分公式如下：

F_{l_top}＝mask_top⊙F_g

F_{l_mid}＝mask_mid⊙F_g

作为优选，所述的MC为了弥补mask缺少的下半身信息，MC将F_g沿垂直方向划分三份，取最后一份特征图F_{l_low}作为行人下半身的表征。将行人三个部分的局部特征图F_{l_low}，F_{l_top}，F_{l_mid}经全局池化后得到局部特征f_local∈R^3×C。

作为优选，所述的步骤5中的WIPA模块以f_local∈R^3×C作为输入。首先进行局部特征间的自注意力计算。将其送入三个1×1的卷积层 Q(·)，K(·)和V(·)，分别得到维度为ck的query和key特征，与维度为c_v的value特征。记自注意力计算后得到的特征为

自注意力计算公式为：

h为head数量，通过传递F_{l_top}，F_{l_mid}包含的人体部位信息来帮助抑制切片特征F_{l_low}中的背景信息。由于行人不同的部位对重识别任务的贡献程度不同，让网络自己学习每个局部特征的权重，来增强有用信息。具体而言，我设置两个全连接层和一个ReLU层来学习局部特征权重，计算公式为：

将F_g与

沿通道连接得到最后的行人表征

作为优选，所述的步骤6中的ID Loss被用来训练特征F_{l_low}确保其包含行人下半身信息。三种损失函数联合训练f_g与

连接后的最终特征。

本发明具有以下有益效果：本发明将全局和局部细节特征联合作为行人的表征，在跨模态行人重识别任务取得了不错的效果。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明的方法流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1，本具体实施方式采用以下技术方案：一种基于局部细节特征的跨模态行人重识别方法，主要由一个自适应的人体部位掩码生成模块(APMG)，掩码补偿模块(MC)和一个带权的intra-part交互注意力模块(WIPA)组成，包括以下步骤：

步骤1、读取SYSU-MM01数据集，包含两种模态(正常光，红外线)下的行人图像，并对数据集进行数据增强；将训练集划分为多个批量，其中每个批量包括8个身份，每个身份包括4个红外线图像与 4个RGB图像。将同一身份的一对跨模态图像输入到骨干网络Resnet-50中，提取全局特征图

步骤2、将一对行人图像送入姿态估计网络GCM得到人体16个不同关节的heatmap；随机抽取行人图像，并观察其对应heatmap的质量。最终从16个heatmap中挑选了9个关节(胸,上颈部,头顶, 左右肩，左臀,左右肘,左手腕)9个

步骤3、将筛选后的

和主干网络输出的全局特征图F_g送入APMG中得到行人不同部位的mask。具体而言，将筛选后的heatmap分为两组分别表示行人的P_top(胸,上颈部,头顶,左右肩),与P_mid(左臀,左右肘,左手腕)。然后，将f_g送入的权重生成网络G_w(·)来生成每个heatmap的权重W_{h_map}∈R^1×9。计算公式为:

W_{h_map}＝σ(G_w(GAP(F_g)))

σ(·)表示sigmoid函数，G_w(·)由卷积核大小为1的卷积组成。G_w(·) 的目的是根据全局特征学习heatmap对应人体部位的贡献程度，并生成相应权重。用生成的权重W_{h_map}对P_top和P_mid两组的heatmap加权求和得到对应部分的mask_top，

公式为：

mask_top＝W_{h_map}[P_top]^THeatmap[P_top]

mask_mid＝W_{h_map}[P_mid]^THeatmap[P_mid]

[P]表示取集合 P对应位置的元素。

用mask划分全局特征图F_g得到行人top part和mid part的特征 F_{l_top}，

局部特征的划分公式如下：

F_{l_top}＝mask_top⊙F_g

F_{l_mid}＝mask_mid⊙F_g

步骤4、由于选取姿态估计模型GCM在识别行人下半身结构表现不佳，仅选用了上半身heatmap生成masks。为了弥补mask缺少的下半身信息，MC将F_g沿垂直方向划分三份，取最后一份特征图F_{l_low}作为行人下半身的表征。将行人三个部分的局部特征图 F_{l_low}，F_{l_top}，F_{l_mid}经全局池化后得到局部特征f_local∈R^3×C。

步骤5、为了挖掘局部特征间的上下文信息，并抑制切片特征 F_{l_low}所包含的背景信息，引入了一个WIPA模块。WIPA以f_local∈R^3×C作为输入。首先进行局部特征间的自注意力计算。将其送入三个1×1 的卷积层Q(·)，K(·)和V(·)，分别得到维度为c_k的query和key特征，与维度为c_v的value特征。记自注意力计算后得到的特征为

自注意力计算公式为：

h为head数量，通过传递F_{l_top}，F_{l_mid}包含的人体部位信息来帮助抑制切片特征F_{l_low}中的背景信息。由于行人不同的部位对重识别任务的贡献程度不同，让网络自己学习每个局部特征的权重，来增强有用信息。具体而言，我设置两个全连接层和一个ReLU层来学习局部特征权重，计算公式为:

将f_g与

沿通道连接得到最后的行人表征。

步骤6、使用ID Loss，Center Cluster Loss和Modality Learning Loss三种损失函数共同训练网络。为了确保局部特征F_{l_low}包含行人下半身的身份信息，用IDLoss对它进行约束。为了引导网络学习模态无关特征，三种损失函数联合训练f_g与

连接后的最终特征。

步骤7、依次方式分别提取query与gallery集中行人的特征，将query图像特征依次与gallery中图像特征做相似度计算。按相似度对gallery中图像做排序得到重识别结果。

本具体实施方式能引导网络充分挖掘行人的细节信息。提出的 APMG能根据行人姿态生成每个heatmap的权重，并融合heatmap得到mask提取行人细节特征。由于APMG缺少下半身部分特征，提出的 MC模块融合APMG与PCB，联合提取行人局部特征表示。进一步，提出的WIPA模块可以交互局部特征间的上下文信息，利用mask中包含的位置信息抑制切片特征中的背景信息。这使得两种局部特征提取方式相辅相成，取长补短。本申请将全局和局部细节特征联合作为行人的表征，在跨模态行人重识别任务取得了不错的效果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于局部细节特征的跨模态行人重识别方法，其特征在于，包括以下步骤：

步骤(1)、读取SYSU-MM01数据集，包含正常光和红外线两种模态下的行人图像，并对数据集进行数据增强；将训练集划分为均匀的批量，每个批量包含来自8个身份的8张图像，每模态下各四张；将同一身份的一对跨模态图像输入到骨干网络Resnet-50中，提取全局特征图

步骤(2)、将图像对送入姿态估计网络GCM得到16个

根据每个heatmap在SYSU-MMO1上的估计质量，筛选了9个高质量的heatmap来生成人体部位掩模；

步骤(3)、将被选的9个heatmap与全局特征图F_g送入APMG(adaptive body partmaskgeneration module)模块；APMG能学习F_g上身体部位的贡献度自适应的生成每个heatmap的权重；将选择的heatmap分成top part和mid part两组；利用最大池化将heatmap下采样到到F_g的空间大小；然后，根据权重累加heatmap得到每个部分的

Mask被用来划分F_g提取top part和midpart的局部特征

步骤(4)、为了补偿APMG缺少的下半身信息，提出了MC(mask compensation)模块；MC采用PCB中提取局部特征的方式对全局特征沿垂直方向划分成三片，取最后一片

作为下本身的特征表征；然后将其与mask提取到的局部特征图联合进行全局池化得到局部特征向量f_local∈R^3×C；

步骤(5)、f_local将送入提出的WIPA(weighted intra-part attention module)模块挖掘intra-part间的上下文关系，同时抑制low part特征中的背景信息；最后WIPA，会衡量每个部分的贡献度生成权重加权特征；池化后的全局特征向量f_g与f_local沿通道连接得到行人的表征；

步骤(6)、为了训练网络准确地捕获行人模态的不变身份特征，使用ID loss，CenterCluster Loss和Modality Learning Loss三个损失函数共同训练网络；

步骤(7)、分别对query与gallery集提取行人特征，将query集中图像与gallery集中的每一幅图像计算相似度；采用特征向量间的欧式距离作为相似度度量；最后将gallery集中的图像按相似度排序得到重识别结果。

2.根据权利要求1所述的一种基于局部细节特征的跨模态行人重识别方法，其特征在于，所述的步骤(2)具体为：将一对行人图像送入姿态估计网络GCM得到人体16个不同关节的heatmap；随机抽取行人图像，并观察其对应heatmap的质量；最终从16个heatmap中挑选了9个关节(胸，上颈部，头顶，左右肩，左臀，左右肘，左手腕)的9个

3.根据权利要求1所述的一种基于局部细节特征的跨模态行人重识别方法，其特征在于，所述的步骤(3)中的APMG能自适应的生成mask提取精炼的局部特征；APMG的输入由筛选后的

和主干网络输出的全局特征图F_g组成；具体而言，将筛选后的heatmap分为两组分别表示行人的P_top(胸，上颈部，头顶，左右肩)，与P_mid(左臀，左右肘，左手腕)；然后，将f_g送入的权重生成网络G_w(·)来生成每个heatmap的权重W_{h_map}∈R^1×9；计算公式为：

W_{h_map}＝σ(G_w(GAP(F_g)))

σ(·)表示sigmoid函数，G_w(·)由卷积核大小为1的卷积组成；G_w(·)的目的是根据全局特征学习heatmap对应人体部位的贡献程度，并生成相应权重；用生成的权重W_{h_map}对P_top和P_mid两组的heatmap加权求和得到对应部分的

公式为：

mask_top＝W_{h_map}[P_top]^THeatmap[P_top]

mask_mid＝W_{h_map}[P_mid]^THeatmap[P_mid]

[P]表示取集合 P对应位置的元素；

用mask划分全局特征图F_g得到行人top part和mid part的特征

局部特征的划分公式如下：

F_{l_top}＝mask_top⊙F_g

F_{l_mid}＝mask_mid⊙F_g。

4.根据权利要求1所述的一种基于局部细节特征的跨模态行人重识别方法，其特征在于，所述的MC为了弥补mask缺少的下半身信息，MC将F_g沿垂直方向划分三份，取最后一份特征图F_{l_low}作为行人下半身的表征；将行人三个部分的局部特征图F_{l_low}，F_ltop，F_{l_mid}经全局池化后得到局部特征f_local∈R^3×C。

5.根据权利要求1所述的一种基于局部细节特征的跨模态行人重识别方法，其特征在于，所述的步骤(5)中的WIPA模块以f_local∈R^3×C作为输入；首先进行局部特征间的自注意力计算；将其送入三个1×1的卷积层Q(·)，K(·)和V(·)，分别得到维度为c_k的query和key特征，与维度为c_v的value特征；记自注意力计算后得到的特征为

自注意力计算公式为：

h为head数量，通过传递F_{l_top}，F_{l_mid}包含的人体部位信息来帮助抑制切片特征F_{l_low}中的背景信息；由于行人不同的部位对重识别任务的贡献程度不同，让网络自己学习每个局部特征的权重，来增强有用信息；具体而言，我设置两个全连接层和一个ReLU层来学习局部特征权重，计算公式为：

将f_g与

沿通道连接得到最后的行人表征。

6.根据权利要求1所述的一种基于局部细节特征的跨模态行人重识别方法，其特征在于，所述的步骤(6)中的ID Loss被用来训练特征F_{l_low}确保其包含行人下半身信息；三种损失函数联合训练f_g与

连接后的最终特征。

Images