CN112084913A

CN112084913A - 一种端到端的人体检测与属性识别方法

Info

Publication number: CN112084913A
Application number: CN202010889969.4A
Authority: CN
Inventors: 陈爱国; 赵太银; 朱大勇; 罗光春; 谷俊霖; 杨栋栋
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-08-15
Filing date: 2020-08-28
Publication date: 2020-12-15
Anticipated expiration: 2040-08-28
Also published as: CN112084913B

Abstract

本发明提出一种基于深度学习的端到端的人体检测与属性识别方法，旨在提高网络运行效率的同时提高泛化性能。网络结构是由目标检测与人体属性识别两个模块构成，目标检测模块完成对人体对象的识别与定位。人体属性识别模块是一个多输出网络，用于完成多个人体属性的判断。该模型能准确地检测现实场景中的多个人并且对这些人的属性进行检测，同时，还结合该模型的特点设置了一种将属性相关性作为先验知识来指导网络训练的方法。

Description

一种端到端的人体检测与属性识别方法

技术领域

本发明涉及目标检测与人体属性识别领域，特别是现实场景中的人体属性识别。

背景技术

人体属性识别是指对现实场景中人的性别、年龄、发型、着装等人体属性进行判断。这些属性在行人识别与检索方面都有很多的应用。比如在视频质量较差时对行人进行身份验证；在刑侦案件中，可以通过犯罪嫌疑人的外在属性在监控视频中检索相似的疑犯。

现有人体属性识别方法主要是将目标检测和属性识别作为两个独立任务，为两个任务分别搭建深度卷积神经网络进行学习，然后将两个网络进行串联，该类方法实现比较简单，但是由于是将检测与识别分为两阶段，导致计算过程过于冗余。

发明内容

本发明的发明目的在于：为了解决现有人体属性识别方法存在模型训练效率低、经验知识未被有效利用等问题，本发明提出一种基于多任务学习的端到端的人体检测与属性识别方法。使用一个神经网络同时实现人体检测与属性识别两个任务，能快速实现现实场景中的人体检测及其属性的识别，具有更好的运行效率与泛化性能。

本发明的端到端的人体检测与属性识别方法，包括下列步骤：

构建及训练人体检测与属性识别的多任务网络模型：

所述多任务网络模型的网络结构包括：

由卷积神经网络构成的特征提取器，用于提取输入图像的特征图；

由分类器与回归器所构成的人体检测模块，输入为特征提取器提取的特征图，其中，分类器用于判断是否为人体，回归器用于预测人***置；

由多个属性识别分支所构成的属性识别模块，其中，属性识别分支数与待识别的属性数量一致；将人体检测模块的回归器预测的人***置按比例映射到特征图，再在特征图中提取对应映射后的人***置的特征块，输入到各属性识别分支；

即，本发明的特征提取器所提取的图像特征作为人体检测模块与属性识别模块的输入；

设置用于训练所述多任务网络模型的训练数据集，并对训练数据集进行数据集预处理后进行网络模型训练，保存满足训练需求的多任务网络模型；

且训练时，所采用的损失函数包括：

特征提取器包括批归一化正则化项，即卷积神经网络的正则化项；

人体检测模块包括分类损失和回归损失；

属性识别模块包括多任务损失和针对不同属性关系类型的约束函数；

将待处理的图像输入到所保存的多任务网络模型，基于属性识别模块的网络输出值得到人体属性的识别结果。

进一步的，数据集预处理方式包括：

对人体检测数据集中不含人体对象的样本进行过滤；

属性识别数据集中针对缺省属性进行预置值处理。

本发明的多任务网络模型的训练和推理方式分别为：

训练时，使用不同的数据集训练各自任务的分支，共同反馈主干卷积网络；通过训练一个可以同时用于人体检测与属性识别的特征提取器，该特征提取器所获得的特征既可以用于人体检测任务，也可以用于属性识别任务；

推理时通过添加一条信息通道，连接人体检测与属性识别，实现人体的检测与属性识别的信息对接；本发明通过直接在特征图上截取特征块的方式减少冗余的卷积计算。

进一步的，本发明基于属性之间的置信度来确定属性之间的相关关系，根据属性之间的相关关系的建立约束域以及构建约束函数：

通过设置一组阈值α,β来界定不同的属性间关系，α为正相关的下限，β为负相关的上限，通过调节α,β来调节满足属性间相关性的界定区间；将属性间的相关关系确定为正相关、单向正相关、负相关三类关系；

并为不同的相关关系设置不同的约束函数，且约束函数满足让约束域以外的结果的代价越大，约束域以内的结果的代价越小；该约束函数包括一个用于调节约束函数的约束强度的参数λ，λ越大则约束强度越大。

综上所述，由于采用了上述技术方案，本发明的有益效果是：识别处理效率高，泛化性能好。

附图说明

图1为本发明的人体属性识别***的整体框架图；

图2为本发明的多任务网络结构图；

图3为人体属性识别在推理时的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明包含一种人体检测与属性识别的多任务网络及其训练方法和推理方式，以及一个属性相关性分析模型。所要解决的技术问题是：如何将目标检测与人体属性识别两个任务进行有机的结合，设计高效的网络结构，巧妙地共享网络中的参数，减少重复的运算，以提高模型的时间效率。具体而言主要包括三个部分：神经网络的构建，属性相关性分析，训练与推理。

(1)神经网络的构建。

本发明是一种基于多任务学习思想的端到端人体属性识别方法。本发明的实现依赖于构建深度神经网络。网络包含一个由卷积神经网络所构成的特征提取器，一个人体检测模块M₁，一个属性识别模块M₂。其中目标检测模块M₁包含分类器和回归器两个部件。分类器的作用是输出类别标签，即对检测的对象进行判断是否为人；回归器是输出位置信息，即回归人体对象的准确位置。属性识别模块M₂也被设计成一个多任务的学习网络，M₂从主干卷积层获取特征以后，连接多个人体属性输出。

卷积神经网络提取图像特征，M₁与M₂共享该特征，从逻辑上讲，M₂需要等待M₁获得位置框之后，将位置框映射到特征图上，截取对象的特征块作为对象的特征。

(2)属性相关性分析。

人体属性相关性分析，根据置信度的相关定义得出属性数据集中属性之间的置信度矩阵，然后设置一组定义属性关系的规则，根据规则，可以将人体属性之间的相关关系进行分类。再根据属性间的各类关系的特点，设置不同的关系约束函数。具体步骤如下。

1)统计属性识别数据集中不同属性出现的频率，根据公式(1)计算两两属性之间的置信度

Confidence(X→Y)＝P(Y|X) (1)

其中，X，Y表示不同的人体属性，即X，Y之间的置信度表示在属性X存在的情况下，属性Y存在的条件概率。

2)以Confidence(X,Y)的值构成置信度矩阵T。

3)以T为依据，设置一组定义关系的规则。如表1所示。α为预设的正相关的下限，β为预设的负相关的上限。

表1：属性相关性关系与规则定义

其中，Cfds()两两属性之间的置信度，即Confidence(X→Y)的简化表示。

4)根据不同关系的特点，确定约束域D。

5)根据不同的约束域确定不同的约束函数F。见表2。其中λ用于调节约束函数的约束强度，取值为经验值。

表2属性关系的约束域与约束函数

其中，e表示自然底数,x,y分别表示属性X，Y的网络输出。

此外，为了进一步简化计算，约束函数F还可以采用下述方式：

对于，正相关，约束函数为：(x-y)²；

对于单向正相关，约束函数为：x²+y²-xy-y；

对于负相关，约束函数为：x²+y²+xy-x-y。

在得到具有显著相关性的属性对之后，对于属性相关性约束项可表示为：

其中N_res表示属性对的个数，x_i,y_i分别表示两个属性的网络输出，L(x_i,y_i)为对应的约束函数。

6)将约束函数作属性识别模块的损失函数之间的一个约束项参与训练。

需要说明的是约束域表示该关系下符合先验知识的结果，约束域以外则表示不符合先验知识的结果。其中，0表示不发生，1表示发生。比如(1,1)表示X发生，Y也发生。根据约束域设计对应的约束函数，约束函数作用于具有相关性的两个属性(x,y)之间，让约束域以外的结果的代价越大，约束域以内的结果则不作处理，并将这些约束函数作为整体损失函数的一个约束项参与训练。这样做的目的是将属性相关性作为一种先验知识来约束本发明模型的训练，这种约束类似于正则化约束，能引导模型的训练，在优化损失函数的过程中，参数倾向于选择满足约束的梯度减少的方向优化，使最终训练的模型倾向于符合该先验知识。

(3)训练与推理。

由于目前已知的目标检测数据集均不包含目标的属性信息，因此使用已有的目标检测数据集和属性识别数据集两个数据集作为训练数据。也因此网络的训练过程和推理过程存在一定的差异。

训练时，用检测数据集训练检测模块，用属性识别数据集训练属性识别模块，且人体检测与属性识别网络之间并不存在同步关系，即属性识别模块的训练并不依赖于检测模块的结果。需要注意的是，本发明在训练属性模块的时候把属性数据集中标注的边界框在特征图上对应的映射块作为属性模块的训练数据，而不是使用边界框在原图上的截取块作为属性分支的训练数据。

推理时，则需要将目标检测与属性识别相结合，即属性识别模块会依赖于检测模块的输出。具体步骤如下：

1)首先对整张图片输入主干卷积层，得到特征图；

2)通过目标检测模块获得人体的检测框，根据该检测框在特征图上对应的映射块作为每个人的卷积特征输入到属性识别模块；

3)以上一步中的映射块作为对应人体对象的特征，分别输入到多类属性的识别器中进行识别。

从上述步骤可知，一张图像中存在的多个人的特征均是从同一张特征图上获取，因此，对一整张图像仅做一次卷积，就同时得到图中多个人的特征。这样就很大程度上精简网络模型的计算规模，提高了网络的时间性能。

实施例

参见图1，本实施的具体实现过程包括：

步骤101：获取包含人体的检测数据集。将多个含有人体对象的检测数据集中的，删除不含人类的样本，仅保留含有人体的样本，并将多个数据集的标注格式统一化，随机排列得到数据集DB₁。

步骤102：获取人体属性识别数据集，将多个人体属性识别数据集进行属性对齐，即取所有数据集的属性集合的并集S，将该并集S中的属性作为整合之后的数据集的属性集，为数据集中缺失的属性设置缺省值，如-1。并将多个数据集的标注格式统一化，随机排列得到数据集DB₂。

步骤103：将步骤101-102获得的两个数据集，通过删除一些尺寸偏大或偏小的样本，以保持图片尺寸规模在一个统一的范围内。

步骤101～103构成了数据集的预处理过程，将处理好的数据集用于网络训练。

步骤201：构建卷积神经主干网络，图像通过该网络获得图像的特征图(featuremap)。特征图将用于后续人体检测模块的输入。

步骤202：建立分类器，用于识别检测对象是否为人类，分类器是一个二分类网络。

步骤203：建立回归器，用于预测人体对象的坐标位置。

步骤204：采用多任务交叉熵损失，损失包含分类器的分类损失和回归器的回归损失。

步骤201～204构成了本发明对人体检测模块的构建过程。结构见图2。

步骤301：在属性数据集中统计获取人体属性间的置信度矩阵。

步骤302：根据置信度矩阵中的数据，定义属性关联性的规则。

步骤303：根据规则得出属性之间的关系。

步骤304：根据属性之间的关系的特点，确定属性关联关系对应的约束函数。

步骤301和步骤304构成了属性关联性分析模型。该方法确立属性之间存在的相关关系。

步骤401：与步骤201共用卷积神经网络，获得图像的特征图。特征图将用于属性识别模块的输入。

步骤402：如果是训练，则根据属性数据标注信息获得人***置坐标。如果是推理，则根据步骤203的结果获得人***置信息。

步骤403：将上一步获取的人体在原图上的位置信息，按照原图与特征图的比例，将位置P₁缩放到特征图上的位置P₂。

步骤404：由上一步得到的位置P₂，在特征图上的截图，得到特征块。将特征块直接作为对应人体对象的特征，输入到人体属性识别模块。流程图可见图3。

步骤405：建立人体属性识别子网络，子网络的个数由步骤102中集合S中的元素个数决定。

步骤406：获得人体属性值。如果是推理，步骤401-406就完成了人体属性识别的全过程。如果是训练，则还包括步骤407。

步骤407：根据步骤303-304中对人体属性相关性分析的结论，将约束函数作为多任务损失函数的一个约束项参与训练。

步骤401～407构成了本发明的属性识别模块。该模块以人体检测模块的输出为输入，获得人体属性的预测结果。

其中，在属性识别处理时，将数据集中某张图像中被标记的对象及其标签标示为：

其中x_i表示该图像中第i(i＝1,2,…,n)个被标注的人体对象，

为相应的属性标签，n表示标注的人体对象数量，定义

m＝1,…,M，M表示属性量数量。

属性损失函数采用交叉熵损失，则一个人体对象的损失函数可以表示为：

其中，y_i表示真实的属性标签，且y_i＝[a_i1,a_i2,…,a_iM]。

定义L_det表示人体检测模块的目标检测损失(分类损失和回归损失之和)，参数μ表示平衡系数，则本发明的人体检测与属性识别的多任务网络模型的损失函数可以表示为：

训练时，通过最小化Loss_joint来获取最佳的预测值。

上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims

1.一种端到端的人体检测与属性识别方法，其特征在于，包括下列步骤：

构建及训练人体检测与属性识别的多任务网络模型：

所述多任务网络模型的网络结构包括：

且训练时，所采用的损失函数包括：

人体检测模块包括分类损失和回归损失；

2.如权利要求1所述的方法，其特征在于，数据集预处理方式包括：

对人体检测数据集中不含人体对象的样本进行过滤；

属性识别数据集中针对缺省属性进行预置值处理。

3.如权利要求1所述的方法，其特征在于，基于属性之间的置信度来确定属性之间的相关关系，根据属性之间的相关关系的建立约束域以及构建约束函数：

计算任意两两属性之间的置信度，并基于一组阈值α,β将属性间的相关关系确定为正相关、单向正相关和负相关三类相关关系；其中α为正相关的下限，β为负相关的上限，通过调节α,β来调节满足属性间相关性的界定区间；

为三类相关关系设置不同的约束函数，且约束函数满足让约束域以外的结果的代价越大，约束域以内的结果的代价越小；该约束函数包括一个用于调节约束函数的约束强度的参数λ，λ越大则约束强度越大。