CN107563279A - 针对人体属性分类的自适应权重调整的模型训练方法 - Google Patents

Abstract

本发明属于计算机视觉图像处理技术领域，具体为针对人体属性分类的自适应权重调整的多任务模型训练方法。本发明提出一种新颖的多任务模型，通过引入了一个基于验证误差大小及变化趋势从而更新相应任务权重的算法，在训练过程中自适应动态地调整每个任务的相应权重值。具体步骤包括：（1）人脸以及行人图片的收集和属性类别的标注；（2）构建深度神经网络；（3）训练深度神经网络；（4）利用深度网络模型，进行人体属性预测；本发明方法具有速度快、精确度高、鲁棒性好等优点，非常适用于人体相关的检测、识别、分类等实际应用。

Description

针对人体属性分类的自适应权重调整的模型训练方法

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及针对人体属性分类的自适应权重调整的多任务模型训练方法。

背景技术

人体属性分析技术在现实生活中，例如环境安全监控***、交通管制监督***等有着广泛的应用。同时人体属性也是对于人体重识别、服饰搭配等高级计算机视觉任务的关键特征，因而人体属性分析技术受到了研究者们越来越多的关注。在非限制的条件下，由于人体姿势的变化，遮挡，光线等影响，人体属性分析依旧是一个较大的挑战。

随着卷积神经网络的复兴，深度多任务网络通过在不同类别的属性上进行共享特征表示的方法进行人体属性的预测，往往在网络中除针对单个属性任务的最高层外，其余各层的参数所有属性全部共享。这样的方法会产生两个问题：1. 当俩个属性任务差距较大时，不充分的暴力转换会损害学习器的性能。2. 这样的多任务学习方法会预先设置并在训练中固定每个任务的相应权重，因而未考虑不同任务之间的差异性和关联性。虽基于多任务的学习方法被广泛应用在属性预测上，但基于这以上俩个问题，目前多任务的学习方法是存在一定缺陷的，因多个任务之间在学习的过程中会相互干扰，而如何在训练的过程中，有效地调整控制不同任务的权重还未能提出一个绝佳的解决办法。

在多任务的模型训练中，文[1,2]针对面部关键点检测任务，采用了同时预测性别、表情、外貌等辅助属性任务来提升目标任务的检测性能。文[3]提出一个允许不同任务之间共享一些视觉信息多任务的卷积神经网络来学习人脸属性。文[4]发掘人脸检测和和对齐之间的内部相关性来提升深度级联多任务网络的性能。然而，在多任务模型中针对的不同任务的权重的调整控制依旧是一个难题。

为解决以上亟待解决的问题，与现有的属性分析的方法不同的是，本发明引入了一个基于验证误差的可以在训练过程中动态地调整每个任务的权重的算法，从而提出一种自适应权重调整的多任务模型训练方法来训练多任务人体属性分析模型。

发明内容

本发明的目的在于提出一种自适应权重调整的多任务模型训练方法，来训练多任务人体属性分析模型。

在多任务模型中针对不同任务的权重调整控制是一个亟待解决的难题。为了解决这个问题，本发明提出了一种新颖的多任务模型，在多任务模型中引入一个基于验证误差的可在训练过程中动态地调整每个任务的权重的算法，使在训练过程中自适应动态地调整每个任务的相应权重值。具体来讲，采用泛化能力来衡量一个任务的重要性，对于泛化能力较差的模型设置更高的权值。对于每个属性分析任务，分析它在验证集上的误差和误差的变化趋势。对于误差较大的任务，表明这个任务具有难度；对于误差趋势变化大的任务，表示针对这个任务模型的可学习性较好，给予较高的权重参数。通过这样的权重调整策略，能够使得每个属性任务得到充分的学习，又不至于过拟合，突显了本发明的创新之处。

本发明提出的自适应权重调整的多任务模型训练方法，具体步骤如下：

（1）人脸以及行人图片的收集和属性类别的标注；本方法需要收集一定的原始图片数据，用于人体属性分析模型的训练；对于每张图片应有相应的人体的属性类别标注；人脸属性包括是否戴眼镜，是否戴口罩，是否佩戴墨镜，是否化妆，是否年轻，头发长短，头发是否卷曲，眉毛浓密，眼睛大小，是否为双眼皮，鼻子是否高挺，是否有双下巴等；行人的属性包括袖子长度，下身服装长度，服装风格，背包，手提包，上身服装颜色和下身服装颜色等；

（2）构建深度神经网络；基础网络结构框架采用ResNet-50框架；图1为所设计的深度神经网络的结构；包括：输入层，基础网络，多任务权重控制层，基础网络包括卷积层、全连接层、池化层等；其中：

输入层负责接受输入；

输入图像经过第一层的卷积层conv1，再经池化层，并通过16个交替的卷积模块（全连接层）进行特征提取；在第一个和最后一个的卷积层后连接有池化层，池化层可以对相邻区域值做聚合，使得网络可容忍一定的形变，增强学***移和旋转不变性；经过卷积和池化操作后，将提取得到的特征输入全连接层，全连接层是对输入的特征做一个线性变换，能够将输入的特征投影到一个更好的子空间，从而完成属性预测任务；网络的最后为多任务权重控制层，负责计算预测的属性和标注信息间的差异值，并通过反向传播完成对权重的自适应调整；

（3）训练深度神经网络；采用自适应权重调整的多任务模型训练方法来训练多任务人体属性分析模型，引入一个基于验证误差的可在训练过程中动态地调整每个任务的权重的算法；每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势决定，通过不断迭代计算和反向传播，优化深度网络模型中的参数；

（4）利用步骤3中的深度网络模型，进行人体属性预测任务；在上述深度模型训练完成后，对于一张给定的人脸或行人图片，能够输出该图像中对于人脸属性或者行人属性的预测结果。

本发明的创新之处在于：

1.提出一种自适应权重调整的多任务模型训练方法来训练多任务人体属性分析模型。根据每个任务相应学习器的泛化能力对其权重参数进行自主更新，突破性地解决多任务模型中针对不同任务的权重调整控制问题；

2.对于进行人体属性分析任务的深度神经网络，加入多任务权重控制层，引入一个基于验证误差的可在训练过程中动态地调整每个任务的权重的算法。在端对端的训练过程中，利用反向传播方式，对每个任务相应的权重参数进行调整控制，以增强模型的泛化能力。采用权重更新的训练方法，人脸属性和人体属性的分析预测任务准确率都有了明显提升。

附图说明

图 1为人体属性分析的网络模型框架示意图。

具体实施方式

步骤1. 人脸以及行人图片的收集和属性类别的标注。人脸属性的类别有人脸外部属性和人脸内在属性组成，人脸的外部属性包括是否戴眼镜，是否戴口罩，是否佩戴墨镜，是否化妆等。人脸的内在属性又可以细分为整体属性和局部属性。整体属性包括性别，是否年轻，颜值等。局部属性则关注于人脸的五官细节方面，包括头发长短，头发是否卷曲，眉毛浓密，眼睛大小，是否为双眼皮，鼻子是否高挺，是否有双下巴等。行人的属性包括袖子长度，下身服装长度，服装风格，背包，手提包，上身服装颜色和下身服装颜色等。

步骤 2. 构建深度神经网络。基础网络结构框架采用ResNet-50框架，图1为所设计的深度神经网络的结构。除最后的多任务权重控制层、全连接层和所有的池化层外，网络中每层后面均连接有非线性层，采用Relu作为激活函数，函数表示为f(x) = max(0, x)。

首先输入图像经过第一层的卷积层conv1，再经池化层，并通过16个交替的卷积模块进行特征提取。在第一个和最后一个的卷积层后连接有池化层，池化层可以对相邻区域值做聚合，使得网络可容忍一定的形变，增强学***移和旋转不变性。经过卷积和池化操作后，将提取得到的特征输入全连接层，全连接层是对输入的特征做一个线性变换，能够将输入的特征投影到一个更好的子空间，从而完成属性预测任务。网络的最后为多任务权重控制层，负责计算预测的属性和标注信息间的差异值。

总体而言，输入层负责接受输入。通过交替的卷积层，非线性层和池化层的组合，进行图片的特征提取。全连接层能够对获得的特征进行映射。最后的多任务权重控制层负责计算网络的预测误差，并通过反向传播完成对权重的自适应调整。

步骤3. 训练深度神经网络。在准备完成人脸、人体图片和对应属性的标签信息以后，进行深度网络的训练。结合附图1对本发明提出的自适应权重调整的多任务模型训练方法作详细说明。输入的训练图像经过一些卷积层和池化层后，将提取得到的特征图输入多任务权重控制层中进行计算，每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势决定。下面将详细介绍网络的信息。

图1显示了方法的主要架构。有3个主要的部件，卷积层，全连接层以及多任务权重控制层。所有的属性任务，共享卷积层和全连接层，通过多任务权重控制层来调整不同任务的权重从而进行联合学习。

首先列出网络需要学习的任务的定义。

1、任务的定义。本发明将属性预测任务视为一个回归任务。对于正样本，标注为1，对于负样本，标注为-1。 假设我们最后得到4096维度的共享特征 R4096，那么 R4096 →（+1, −1）进行每个属性的回归，假设我们有k个属性任务，那么最终 R4096 → Rk，通过联合学习，回归出所有属性任务。在预测的时候，如果预测得到的属性 >= 阈值，则判定为存在这个属性，如果 <阈值，则判定为不存在这个属性。

接下来介绍这个深度神经网络模型的2个重要构成模块。包括自适应权重的多任务模型的训练方法以及每个任务相应权重的更新方法。

2、自适应权重的多任务模型训练算法

在本方法提出的自适应任务权重调整模型中，每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势来决定的。

附录中的算法1展示了模型的具体训练过程。其中记c为模型训练过程中的迭代次数，λ为权重向量，用来指示所有任务的权重，这个向量初始化为1，表示在初始的时候，所有的任务都共享相同的权重，val_loss_list是用于存储验证集误差值的数据结构，记k为任务权重更新的迭代次数参量。模型的学习过程分为3个步骤：

1)在网络训练中，当迭代次数c小于迭代次数上限值时，计算在验证数据集上的误差值val_loss，并使用val_loss_list存储这些误差值；

2)每k轮，我们对所有任务的相应权重λ值进行计算更新，这个更新的算法记为update_weights()；

3)计算出不同任务的权重λ以后，根据这些权重对回传的loss值进行加权处理，用计算得到的weighted_loss来更新网络中参数。

3、权重的更新算法

附录中的算法2具体展现了模型的权重更新算法。根据权重自适应算法思路，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势来决定的，因而更新算法可具体分为以下6个步骤：

1) 根据val_loss_list中存储的数据，计算每个任务在前一阶段的平均误差pre_mean。

2)根据val_loss_list中存储的数据，计算每个任务在当前阶段的平均误差cur_mean。

3)根据当前的误差cur_mean和前一阶段的误差pre_mean，计算误差变化的趋势trend。

4)对误差的趋势进行归一化norm_trend。

5) 对误差值的大小进行归一化norm_loss。

6)根据误差值的大小和误差的趋势来计算得到每个任务的权重λ。

参考文献

1.Zhanpeng Zhang, Ping Luo, Chen Change Loy, and Xiaoou Tang. 2014.Facial landmark detection by deep multi-task learning. In ECCV.

2.Zhanpeng Zhang, Ping Luo, Chen Change Loy, and Xiaoou Tang. 2016.Learning deep representation for face alignment with auxiliary attributes.IEEE transactions on pattern analysis and machine intelligence 38, 5 (2016),918–930.

3. Abrar H Abdulnabi, Gang Wang, Jiwen Lu, and Kui Jia. 2015. Multi-taskcnn model for attribute prediction. IEEE TMM (2015).

4.Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, and Yu Qiao. 2016. JointFace Detection and Alignment Using Multitask Cascaded Convolutional Networks.IEEE Signal Processing Letters 23, 10 (2016), 1499–1503.。

附录

算法1：自适应权重的多任务模型训练算法

算法2：权重的更新算法

。

Claims (3)

1. 一种自适应权重调整的多任务模型训练方法，其特征在于，具体步骤如下：

（1）人脸以及行人图片的收集和属性类别的标注

收集一定的原始图片数据，用于人体属性分析模型的训练；对于每张图片有相应的人体的属性类别标注；人脸属性包括：是否戴眼镜，是否戴口罩，是否佩戴墨镜，是否化妆，是否年轻，头发长短，头发是否卷曲，眉毛浓密，眼睛大小，是否为双眼皮，鼻子是否高挺，是否有双下巴等；行人的属性包括袖子长度，下身服装长度，服装风格，背包，手提包，上身服装颜色和下身服装颜色等；

（2）构建深度神经网络

包括：输入层，基础网络，多任务权重控制层，基础网络包括卷积层、全连接层、池化层；基础网络结构框架采用ResNet-50框架；其中：

输入层负责接受输入；

输入图像经过第一层的卷积层conv1，再经池化层，并通过全连接层进行特征提取；其中，在第一个和最后一个的卷积层后连接有池化层，池化层对相邻区域值做聚合，使得网络可容忍一定的形变；经过卷积和池化操作后，将提取得到的特征输入全连接层，全连接层是对输入的特征做一个线性变换，将输入的特征投影到一个更好的子空间，从而完成属性预测任务；网络的最后为多任务权重控制层，负责计算预测的属性和标注信息间的差异值，并通过反向传播完成对权重的自适应调整；

（3）训练深度神经网络

采用自适应权重调整的多任务模型训练方法来训练多任务人体属性分析模型，引入一个基于验证误差的可在训练过程中动态地调整每个任务的权重的算法；每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势决定，通过不断迭代计算和反向传播，优化深度网络模型中的参数；

（4）利用步骤（3）中的深度网络模型，进行人体属性预测

在上述深度模型训练完成后，对于一张给定的人脸或行人图片，输出该图像中对于人脸属性或者行人属性的预测结果。

2.根据权利要求1所述的自适应权重调整的多任务模型训练方法，其特征在于，除最后的多任务权重控制层、全连接层和所有的池化层外，网络中每层后面均连接有非线性层，采用Relu作为激活函数，函数表示为f(x) = max(0, x)。

3.根据权利要求1所述的自适应权重调整的多任务模型训练方法，其特征在于，所述深度神经网络模型中，自适应权重的多任务模型的训练方法以及每个任务相应权重的更新方法的具体步骤如下：

（1）自适应权重的多任务模型训练方法

在自适应任务权重调整模型中，每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势来决定；具体训练过程为：

记c为模型训练过程中的迭代次数，λ为权重向量，用来指示所有任务的权重，这个向量初始化为1，表示在初始的时候，所有的任务都共享相同的权重，val_loss_list是用于存储验证集误差值的数据结构，记k为任务权重更新的迭代次数参量；模型的学习过程分为3个步骤：

1）在网络训练中，当迭代次数c小于迭代次数上限值时，计算在验证数据集上的误差值val_loss，并使用val_loss_list存储这些误差值；

2）每k轮，对所有任务的相应权重λ值进行计算更新，这个更新的算法记为update_weights()；

3）计算出不同任务的权重λ以后，根据这些权重对回传的loss值进行加权处理，用计算得到的weighted_loss来更新网络中参数；

（2）权重的更新方法

根据权重自适应算法思路，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势来决定，具体分为以下6个步骤：

1）根据val_loss_list中存储的数据，计算每个任务在前一阶段的平均误差pre_mean；

2）根据val_loss_list中存储的数据，计算每个任务在当前阶段的平均误差cur_mean；

3）根据当前的误差cur_mean和前一阶段的误差pre_mean，计算误差变化的趋势trend；

4）对误差的趋势进行归一化norm_trend；

5）对误差值的大小进行归一化norm_loss；

6）根据误差值的大小和误差的趋势来计算得到每个任务的权重λ。