CN113963374A - 基于多层次特征与身份信息辅助的行人属性识别方法 - Google Patents

Abstract

本发明公开了一个新的深度学习网络——多层次特征与身份信息辅助模型MFIA(Multi‑level features and identity assistance)。该模型通过骨架裁剪的方法，放大行人有效区域，去除背景无效信息，并在全局、局部特征提取的同时进行重点区域强调，另外通过行人身份信息辅助行人属性识别，以提高属性的识别能力。实验最终表明，新的行人属性识别模型在Market‑1501‑attribute数据集中取得了较好的性能。

Description

基于多层次特征与身份信息辅助的行人属性识别方法

1.技术领域

本发明属于行人属性识别方法，涉及计算机视觉技术领域。

2.背景技术

行人属性识别(pedestrian attribute recognition)的目标是挖掘给定图像中行人的属性特征，进而对属性进行分类，最终能够预测测试集中行人的属性标签，比如性别、年龄、衣服颜色、衣服样式等。属性识别一直是计算机视觉中比较热门的领域，在许多方向都有着广泛的应用，比如基于属性识别的人脸识别技术已经相当成熟，应用于日常生活中的各个领域。随着近几十年监控设备在全世界普及，监控场景下的行人属性识别任务也越来越受到重视，但是由于监控设备和普通设备所拍摄的图像质量参差不齐，往往存在以下几个问题：(1)图像尺寸较小，分辨率低；(2)行人图像为抓拍图像，可能存在姿态变换、遮挡、模糊等情况；(3)摄像头为固定摄像头，受天气、光线、角度等外界因素影响；(4)数据集往往从某一区域某一时间段内获取，通常存在严重的特殊性。

深度学习出现以后，大量的行人属性识别模型针对上述问题做出了贡献。Fabbri等考虑到遮挡以及分辨率低等问题，提出了一个基于对抗生成网络的模型GAM，利用生成网络对遮挡图片进行生成补充，扩充行人的特征信息；Li等考虑到属性之间的相关性，提出了一个模型VSGR——基于图的推理框架来建模区域到区域，属性到属性，区域到属性的空间关系和语义关系，最终进行属性预测，有效地改进了遮挡以及分辨率较低情况下的属性识别。

从数据集角度来说，虽然图像都为单行人图像，但是由于监控拍摄的随机性，图像中的行人区域难以保证恰好填充整个画面，并且监控所拍摄的图像分辨率通常较低，这些特点通常会对属性识别造成不利影响。另外，随着跨任务模型的出现，许多其他任务的数据集尝试被标注上属性信息，应用于行人属性识别，比如基于传统行人重识别数据集改进的Market-1501-attribute数据集，把属性信息与行人身份编号信息相结合，将其应用于行人属性识别和行人重识别任务。

在本发明中，提出了一种多层次特征与身份信息辅助模型MFIA(Multi-levelfeatures and identity assistance)，考虑在图像特征提取之前，通过骨架识别的方法，判断行人具***置，并进行裁剪获得行人具体区域，然后在全局、局部特征提取的同时进行重点区域强调，之后使用行人身份信息辅助行人属性识别，最终达到提高属性识别性能的目的。

3.发明内容

本发明的目的是为了解决在行人属性识别中，由于行人图像质量参差不齐所导致的识别准确率低的情况。

本发明为解决上述技术问题采取的技术方案是：

S1.提出基于骨架裁剪的行人精确区域识别算法，通过放大行人有效区域，提高图像质量；

S2.提出多层次特征提取算法，在全局、局部特征提取的同时，进行重点区域强调，提高特征的丰富性；

S3.提出身份信息辅助算法，通过动态权重，提高属性识别性能；

S4.在跨任务Market-1501-attribute数据集中取得了较好的结果。

图像输入网络之后首先经过STN模块，对于不准确的行人图像进行处理，提取行人区域框：

其中

为2*3矩阵，

为变换前的坐标，

为变换后的坐标。通过坐标变换参数θ以及原图像采样信息，进行图像网格生成，最终得到调整后的行人图像。之后经过堆叠沙漏模型SPPE模块，识别出来的姿态结果会被映射到检测到的行人区域框中，并且同时使用并行SPPE模块对行人区域框进行反馈调整。最后通过SDTN模块将姿态信息映射回原图坐标：

其中

为2*3矩阵，并且，STN与SDTN为逆过程，可以得到以下关系：

[γ₁ γ₂]＝[θ₁ θ₂]^-1 (3)

γ₃＝-1*[γ₁ γ₂]^-1θ₃ (4)

然而，有时一张行人图像会生成多个骨架信息，因此第二阶段需要通过Pose NMS方法进行去除冗余行人姿态。

其中P_i,P_j分别表示第i个姿态和第j个姿态，并且，姿态P_i包含M个关节点

和

分别表示姿态P_i的第m个关节点坐标和和第m个关节点的置信度分数。因此姿态之间的距离值：

D(P_i,P_j|Λ)＝M(P_i,P_j|σ₁)+λS(P_i,P_j|σ₂) (7)

其中Λ＝{σ₁,σ₂,λ}，为权重集。最后通过消去法则，去掉相似并且距离近的姿态：

F(P_i,P_j|Λ,η)＝1[D(P_i,P_j|Λ)≤η] (8)

其中η为消除阈值。

进一步根据骨架坐标确定行人精确区域框，并进行裁剪：

R_n＝α*{<min{x_nm},min{y_nm}>,<max{x_nm},max{y_nm}>} (9)

其中，n∈{1…N}，N表示训练集图像个数，m∈{1…M}，M表示骨架节点个数，R_n表示行人关节点形成的的最小坐标点与最大坐标点确定的行人精确区域框。

对于裁剪过后的行人精确区域框在进行全局特征提取的同时，按头部、上半身、下半身区域分割并进行卷积，以更好的提取行人的局部特征。另外，对于行人的整体属性，行人的不同部位有着不同的重要程度，因此，对重点区域进行强调，可以提高特征丰富性：

R_nR＝β*{<min{x_nr},min{y_nr}>,<max{x_nr},max{y_nr}>} (10)

其中，R∈{H,U,D}，H、U、D分别表示重点强调的头部、上身、下身区域，r∈{h,u,d}，h表示头部五个坐标点集，u表示上身肩膀以及手肘四个坐标点集，d表示下身胯部以及膝盖四个坐标点。

行人属性在Mrket-1501-attribute数据集被转换为30个二分类问题，因此属性标签采用二分类交叉熵损失函数进行计算：

其中n∈{1...N}，N表示训练集图像个数，l∈{1...L}，L表示属性个数，x_nl表示第n张图像第l个属性的预测值，y_nl表示真实值。数据集包含多个行人身份信息，所以身份标签采用多分类交叉熵损失函数。身份信息预测力求某一个身份值概率为最大，其余概率值均保持较低水平，公式如下：

Loss＝Loss_F+Loss_I (14)

其中，i∈{1...I},I表示训练集行人身份个数，Ωi/I表示去掉当前行人身份i的整个身份标签域，x_ni表示第n张图像第i个行人身份的预测值，y_n表示第n张图像行人身份的真实值。

本发明提出了一种多层特特征与身份信息辅助模型MFIA，包含一个骨架裁剪模块(SC)、一个多层次特征提取模块(MFE)、一个身份信息辅助模块(IA)。

最后，所述的基于多层特特征与身份信息辅助的行人属性识别网络的训练方法如下：

所有模型都通过交叉熵损失进行预训练，对于每张图像，在图像特征提取之前，通过骨架识别的方法，判断行人具***置，并进行裁剪获得行人具体区域，然后在全局、局部特征提取的同时进行重点区域强调，之后使用行人身份信息辅助行人属性识别，最终达到提高属性识别性能的目的。

与现有的技术相比，本发明的有益效果是：

1.本发明提出了基于骨架裁剪的行人精确区域识别算法，通过放大行人有效区域的方法，突出行人主体特征，提高图像质量，有利于属性特征的提取；

2.本发明提出了多层次特征提取算法，在全局、局部特征提取的同时，进行重点区域强调，提高了特征提取的丰富性；

3.本发明提出了身份信息辅助算法，通过动态权重的方式，使身份信息辅助行人属性识别，提高了识别性能；

4.附图说明

图1为基于多层次特征与身份信息辅助模型MFIA示意图。

图2为骨架裁剪模块示意图。

图3为多层次特征模块示意图。

图4为身份信息辅助模块示意图。

5.具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制。

以下结合附图和实施例对本发明做进一步的阐述。

图1为基于多层次特征与身份信息辅助的行人属性识别网络结构示意图。如图1所示，图像输入网络之后通过骨架识别的方法，判断行人具***置，并进行裁剪获得行人具体区域，然后在全局、局部特征提取的同时进行重点区域强调，之后使用行人身份信息辅助行人属性识别。

图2为骨架裁剪模块示意图。如图2所示，输入行人图像之后，首先通过骨架识别对图像进行处理，目的是使行人重点区域放大，并且对身体关节点进行标记，有利于行人特征信息的提取。

第一阶段首先经过STN模块，对于不准确的行人图像进行处理，提取行人区域框，公式如下：

其中

为2*3矩阵，

为变换前的坐标，

为变换后的坐标。通过坐标变换参数θ以及原图像采样信息，进行图像网格生成，最终得到调整后的行人图像。之后经过堆叠沙漏模型SPPE模块，识别出来的姿态结果会被映射到检测到的行人区域框中，并且同时使用并行SPPE模块对行人区域框进行反馈调整，其中并行SPPE模块模块是训练阶段的一个正则化器。最后通过SDTN模块将姿态信息映射回原图坐标，公式如下：

其中

为2*3矩阵，并且，STN与SDTN为逆过程，可以得到以下关系：

[γ₁ γ₂]＝[θ₁ θ₂]^-1 (3)

γ₃＝-1*[γ₁ γ₂]^-1θ₃ (4)

然而，有时一张行人图像会生成多个骨架信息，因此第二阶段需要通过Pose NMS方法去除冗余行人姿态。首先设置匹配函数，剔除不正确的姿态估计，公式如下：

其中P_i,P_j分别表示第i个姿态和第j个姿态，假定姿态P_i的行人区域框为B_i，则

是以

为中心的区域框，每个维度是原行人框B_i的1/10。并且，姿态P_i包含M个关节点

和

分别表示姿态P_i的第m个关节点坐标和和第m个关节点的置信度分数。力求过滤掉置信度分数较低的姿态，因此设置空间函数，计算姿态之间的距离值，公式如下：

之后求得最终的姿态距离，公式如下：

D(P_i,P_j|Λ)＝M(P_i,P_j|σ₁)+λS(P_i,P_j|σ₂) (7)

其中Λ＝{σ₁,σ₂,λ}，为权重集。最后通过消去法则，去掉相似并且距离近的姿态，公式如下：

F(P_i,P_j|Λ,η)＝1[D(P_i,P_j|Λ)≤η] (8)

其中η为消除阈值，若姿态距离小于该阈值，则最终函数值为1。

通过骨架识别，可以精确定位图像中行人的具***置，因此可以进一步根据骨架坐标确定行人精确区域框，并进行裁剪，公式如下：

R_n＝α*{<min{x_nm},min{y_nm}>,<max{x_nm},max{y_nm}>} (9)

其中，n∈{1…N}，N表示训练集图像个数，m∈{1…M}，M表示骨架节点个数，R_n表示行人关节点形成的的最小坐标点与最大坐标点确定的行人精确区域框，α表示骨架节点扩散比值，以更好的包括行人身体区域，这里使用α＝1.1。

图3为多层次特征模块示意图。如图3所示，对于裁剪过后的行人精确区域框在进行全局特征提取的同时，按头部、上半身、下半身区域分割并进行卷积，以更好的提取行人的局部特征。另外，对于行人的整体属性，行人的不同部位有着不同的重要程度，例如通过上半身的上半部分，往往能判断出行人的上衣颜色、上衣样式等，通过下半身的上半部分，往往能判断出行人的下衣颜色、下衣样式等。因此，对重点区域进行强调，可以提高特征丰富性。

通过重点区域强调，可以在全局、局部特征提取的同时，进一步补充重点特征区域，丰富行人信息，以更好的提高属性识别性能，公式如下：

R_nR＝β*{<min{x_nr},min{y_nr}>,<max{x_nr},max{y_nr}>} (10)

其中，R∈{H,U,D}，H、U、D分别表示重点强调的头部、上身、下身区域，r∈{h,u,d}，h表示头部五个坐标点集，u表示上身肩膀以及手肘四个坐标点集，d表示下身胯部以及膝盖四个坐标点，β表示骨架节点扩散比值，以更好的包括重点强调区域，这里使用β＝1.1。

图4为身份信息辅助模块示意图。如图4所示，传统的行人属性识别，经过特征提取后分析属性标签对应的概率值，得出对应属性，由于行人属性在Mrket-1501-attribute数据集被转换为30个二分类问题，因此属性标签采用二分类交叉熵损失函数进行计算，公式如下：

其中n∈{1...N}，N表示训练集图像个数，l∈{1...L}，L表示属性个数，x_nl表示第n张图像第l个属性的预测值，y_nl表示真实值。

另外，传统的属性识别可能会由于光线、遮挡、分辨率低等因素造成某些图像的属性识别率较低，但是对于基于监控的行人属性数据集来说，行人图像是从不同监控视频的不同序列片段所截取的不同帧，每一组序列片段，都有着行人身份信息相同，行人属性信息相同，行人图像不相同的特点。数据集包含多个行人身份信息，所以身份标签采用多分类交叉熵损失函数。身份信息预测力求某一个身份值概率为最大，其余概率值均保持较低水平：

Loss＝Loss_F+Loss_I (14)

其中，i∈{1...I},I表示训练集行人身份个数，Ωi/I表示去掉当前行人身份i的整个身份标签域，x_ni表示第n张图像第i个行人身份的预测值，y_n表示第n张图像行人身份的真实值。

在本发明中，提出了一种多层特特征与身份信息辅助模型MFIA，包含一个骨架裁剪模块(SC)、一个多层次特征提取模块(MFE)、一个身份信息辅助模块(IA)。考虑在图像特征提取之前，通过骨架识别的方法，判断行人具***置，并进行裁剪获得行人具体区域，然后在全局、局部特征提取的同时进行重点区域强调，之后使用行人身份信息辅助行人属性识别，最终达到提高属性识别性能的目的。

最后，本发明的上述示例的细节仅为解释说明本发明所做的举例，对于本领域技术人员，对上述实施例的任何修改、改进和替换等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.基于多层次特征与身份信息辅助的行人属性识别方法，其特征在于，所述方法包括以下步骤：

S1.构建骨架裁剪模块。

S2.多层次特征模块。

S3.身份信息辅助模块。

2.根据权利要求1所述的基于多层次特征与身份信息辅助的行人属性识别方法，其特征在于，所述S1的具体过程为：

图像输入网络之后首先经过STN模块，对于不准确的行人图像进行处理，提取行人区域框：

其中

为2*3矩阵，

为变换前的坐标，

为变换后的坐标。之后经过堆叠沙漏模型SPPE模块，识别出来的姿态结果会被映射到检测到的行人区域框中，并且同时使用并行SPPE模块对行人区域框进行反馈调整。最后通过SDTN模块将姿态信息映射回原图坐标：

其中

为2*3矩阵，并且，STN与SDTN为逆过程，可以得到以下关系：

[γ₁ γ₂]＝[θ₁ θ₂]^-1 (3)

γ₃＝-1*[γ₁ γ₂]^-1θ₃ (4)

然而，有时一张行人图像会生成多个骨架信息，因此第二阶段需要通过Pose NMS方法去除冗余行人姿态。

其中P_i,P_j分别表示第i个姿态和第j个姿态，并且，姿态P_i包含M个关节点

和

分别表示姿态P_i的第m个关节点坐标和和第m个关节点的置信度分数。因此姿态之间的距离值：

D(P_i,P_j|Λ)＝M(P_i,P_j|σ₁)+λS(P_i,P_j|σ₂) (7)

其中Λ＝{σ₁,σ₂,λ}，为权重集。最后通过消去法则，去掉相似并且距离近的姿态：

F(P_i,P_j|Λ,η)＝1[D(P_i,P_j|Λ)≤η] (8)

其中η为消除阈值。

进一步根据骨架坐标确定行人精确区域框，并进行裁剪：

R_n＝α*{<min{x_nm},min{y_nm}>,<max{x_nm},max{y_nm}>} (9)

其中，n∈{1...N}，N表示训练集图像个数，m∈{1...M}，M表示骨架节点个数，R_n表示行人关节点形成的的最小坐标点与最大坐标点确定的行人精确区域框。

3.根据权利要求1所述的基于多层次特征与身份信息辅助的行人属性识别方法，其特征在于，所述S2的具体过程为：

对于裁剪过后的行人精确区域框在进行全局特征提取的同时，按头部、上半身、下半身区域分割并进行卷积，以更好的提取行人的局部特征。另外，对于行人的整体属性，行人的不同部位有着不同的重要程度，因此，对重点区域进行强调，可以提高特征丰富性：

R_nR＝β*{<min{x_nr},min{y_nr}>,<max{x_nr},max{y_nr}>} (10)

其中，R∈{H,U,D}，H、U、D分别表示重点强调的头部、上身、下身区域，r∈{h,u,d}，h表示头部五个坐标点集，u表示上身肩膀以及手肘四个坐标点集，d表示下身胯部以及膝盖四个坐标点。

4.根据权利要求1所述的基于多层次特征与身份信息辅助的行人属性识别方法，其特征在于，所述S3的具体过程为：

行人属性在Mrket-1501-attribute数据集被转换为30个二分类问题，因此属性标签采用二分类交叉熵损失函数进行计算：

其中n∈{1...N}，N表示训练集图像个数，l∈{1...L}，L表示属性个数，x_nl表示第n张图像第l个属性的预测值，y_nl表示真实值。数据集包含多个行人身份信息，所以身份标签采用多分类交叉熵损失函数。身份信息预测力求某一个身份值概率为最大，其余概率值均保持较低水平，公式如下：

Loss＝Loss_F+Loss_I (14)

其中，i∈{1...I},I表示训练集行人身份个数，Ωi/I表示去掉当前行人身份i的整个身份标签域，x_ni表示第n张图像第i个行人身份的预测值，y_n表示第n张图像行人身份的真实值。

最后，多区域特征损失与身份损失融合作为模型总损失。基于身份信息辅助的行人属性识别方法，可以弥补数据集图像质量参差不齐的情况，提升模型的识别能力。

Images