CN113963231A - 基于图像增强与样本平衡优化的行人属性识别方法 - Google Patents

Abstract

本发明公开了一个新的深度学***衡优化模型IEBO(Image enhancement and sample balance optimization)。该模型通过色彩增强与提取行人主体区域的噪音抑制方法，在突出行人核心特征的同时消除无用背景信息，防止其对属性识别造成干扰。另外模型通过权重调节针对样本不平衡的属性进行优化，提高不平衡属性的识别能力。实验最终表明，新的行人属性识别模型在Market‑1501‑attribute数据集中取得了较好的性能。

Description

基于图像增强与样本平衡优化的行人属性识别方法

1.技术领域

本发明属于行人属性识别方法，涉及计算机视觉技术领域。

2.背景技术

行人属性识别(pedestrian attribute recognition)的目标是挖掘给定图像中行人的属性特征，进而对属性进行分类，最终能够预测测试集中行人的属性标签，比如性别、年龄、衣服颜色、衣服样式等。属性识别一直是计算机视觉中比较热门的领域，在许多方向都有着广泛的应用，比如基于属性识别的人脸识别技术已经相当成熟，应用于日常生活中的各个领域。随着近几十年监控设备在全世界普及，监控场景下的行人属性识别任务也越来越受到重视，但是由于监控设备和普通设备所拍摄的图像的差异，往往存在以下几个问题：(1)图像尺寸较小，分辨率低；(2)行人图像为抓拍图像，可能存在姿态变换、遮挡、模糊等情况；(3)摄像头为固定摄像头，受天气、光线、角度等外界因素影响；(4)数据集往往从某一区域某一时间段内获取，通常存在严重的特殊性。

深度学***衡的问题。

从数据集角度来说，虽然图像都为单行人图像，但是由于监控拍摄的随机性，图像的分辨率通常比较低并且存在着许多无用的背景噪音信息，这些特点通常会对属性识别造成不利影响。另外，随着跨任务模型的出现，许多其他任务的数据集尝试被标注上属性信息，应用于行人属性识别，比如基于传统行人重识别数据集改进的Market-1501-attribute数据集，把属性信息与行人身份编号信息相结合，将其应用于行人属性识别和行人重识别任务。然而，由于数据集的提出并不是以属性识别作为基础解决任务，因此数据集通常包含着严重的正负样本不平衡的问题。

在本发明中，提出了一种图像增强与样本平衡优化模型IEBO(Image enhancementand sample balance optimization)，考虑在图像特征提取之前，先进行色彩增强并通过提取行人主体区域的方式减少背景噪音对行人信息的干扰，再经过深层神经网络提取行人主体特征信息，然后基于身份信息针对不平衡属性进行属性权重平衡优化，最终达到提高属性识别性能的目的。

3.发明内容

本发明的目的是为了解决在行人属性识别中，由于图像分辨率较低以及样本不平衡所导致的识别率低的情况。

本发明为解决上述技术问题采取的技术方案是：

S1.提出基于色彩增强与噪音抑制的图像增强方法，突出行人主体特征并挖掘行人整体图像，抑制背景噪音信息防止其对属性识别造成干扰；

S2.提出基于身份信息融合的行人属性样本平衡优化算法，调节跨任务数据集正负样本不平衡的缺陷，提升模型的识别能力；

S3.在跨任务Market-1501-attribute数据集的样本不平衡属性中取得了较好的结果。

图像输入网络之后首先将像素值映射到[0,1]范围，然后分别对彩色图像的RGB通道单独进行处理，之后对图像进行调整以获得全局白平衡，通过最大最小归一化将F(X)拉伸到[0,1]范围，然后恢复到RGB像素值：

图像色彩增强之后，使用基于Resnet101的deeplabv3模型对行人背景进行分割，前边卷积模块采用传统的resnet101网络结构，之后通过一层rate＝2的空洞卷积，并且经过金字塔池化ASPP模型，同时对特征进行rate＝1，6，12，18四个空洞卷积和一个全局池化的并行处理，最后将并行特征图进行连接，并输入到传统的卷积神经网络中进行上采样恢复到原图。

由于数据集不是以属性识别任务进行创建的，所以在属性方面，数据集存在正负样本不平衡的问题。因此，我们需要针对正负样本不平衡属性进行权重优化处理。

其中，n∈1，2，…，N，N表示训练集图像个数，l∈1，2，…，L，L表示属性个数，x_nl表示第n张图像第l个属性的预测值，y_nl表示真实值，L_M表示各属性样本合理比例：

其中，i∈1，2，…，I,I表示属性种类个数,例如普遍的二分类以及多分类中的四分类、八分类，k∈1，2，…，K,K表示各种分类属性中的属性值个数。具体值如下：

传统的属性识别可能会由于光线、遮挡、分辨率低等因素造成某些图像的属性识别率较低，但是对于基于监控的行人属性数据集来说，行人图像是从不同监控视频的不同序列片段所截取的不同帧，每一组序列片段，都有着行人身份信息相同，行人属性信息相同，行人图像不相同的特点，因此，利用行人身份信息辅助样本平衡优化可以进一步提高行人属性识别能力：

W₂＝λ*exp(-λ*epoch) (8)

Loss＝Loss_F+Loss_I (9)

其中，i∈1，2，…，I，I表示训练集行人身份个数，x_ni表示第n张图像第i个行人身份的预测值，y_n表示第n张图像行人身份的真实值，λ取0.3。

本发明提出的基于图像增强与样本平衡优化的行人属性识别网络包含一个基于色彩增强与噪音抑制的图像增强模块(IE)、一个基于身份信息融合的行人属性样本平衡优化模块(SBO)。

最后，所述的基于图像增强与样本平衡优化的行人属性识别网络的训练方法如下：

所有模型都通过交叉熵损失进行预训练，对于每张图像，先通过图像增强提高图像的色彩对比度，以更好获取行人全局特征，再经过基于Resnet101网络的deeplabv3模型进行语义分割，并将行人背景区域进行直置0，抑制背景噪音信息，防止其对属性识别造成干扰。之后通过传统的Resnet50网络进行行人特征提取，同时针对样本不平衡属性进行优化并使用行人身份信息进行辅助识别。

与现有的技术相比，本发明的有益效果是：

1.本发明提出了基于色彩增强与噪音抑制的图像增强模块对低分辨率图像进行优化处理，对重要的特征信息进行了突出强调，对无用的噪音信息进行了抑制，有利于行人全局特征的提取。

2.本发明提出了基于身份信息融合的行人属性样本平衡优化算法用于调节样本不平衡属性，对样本数量差别较大的属性进行更多的训练，有利于行人属性的识别。

4.附图说明

图1为基于图像增强与样本平衡优化模型IEBO示意图。

图2为基于色彩增强与噪音抑制的图像增强模块示意图。

图3为基于身份信息融合的行人属性样本平衡优化模块示意图。

5.具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制。

以下结合附图和实施例对本发明做进一步的阐述。

图1为基于图像增强与样本平衡优化的行人属性识别网络结构示意图。如图1所示，图像输入网络之后首先进行色彩增强并通过提取行人主体区域的方式减少背景噪音对行人信息的干扰，再经过深层神经网络提取行人核心特征，最后基于身份信息针对不平衡属性进行样本平衡优化。

图2为图像增强模块示意图。如图2所示，图像增强模块输入行人图像之后，首先通过色彩增强对图像进行处理，目的是使行人主体特征更加突出，色彩更加饱和，有利于行人特征信息的提取。

第一阶段适应局部图像对比度，首先将像素值映射到[0,1]范围，然后分别对彩色图像的RGB通道单独进行处理，计算每个像素点的F(X)值。公式如下：

其中，Ω表示当前像素及其相邻八个像素的邻域范围，x₀表示邻域范围中除当前像素以外的其余像素点，等价于x∪x₀＝Ω，||x-x₀||表示两个像素点之间的欧氏距离，I(x)-I(x₀)表示两个像素值之差，G(t)＝min{max{αt,-1},1}，为坡度函数，其中α为增强因子，值越大，细节增强越明显，默认α≥1。

第二阶段对图像进行调整以获得全局白平衡，首先通过最大最小归一化将F(x)拉伸到[0,1]范围，然后恢复到RGB像素值。公式如下：

其中minF为F(x)函数的最小值，maxF为F(x)函数的最大值。

通过色彩增强可以提高行人图像的色彩饱和度，有利于更充分的提取行人特征信息，但是图像中仍然包含一些无用的背景信息，这些信息有可能会对特征提取造成干扰。因此，需要对图像进行噪音抑制处理。

图像色彩增强之后，使用基于Resnet101的deeplabv3模型对行人背景进行分割，模型尝试通过级联与并行的空洞卷积的方式对图片进行处理，前边卷积模块采用传统的resnet101网络结构，之后通过一层rate＝2的空洞卷积，并且经过金字塔池化ASPP模型，同时对特征进行rate＝1，6，12，18四个空洞卷积和一个全局池化的并行处理，其中rate＝1为普通卷积，最后将并行特征图进行连接，并输入到传统的卷积神经网络中进行上采样恢复到原图。

在进行行人分割的同时，将检测出的实例框以外的背景区域置0。通过背景置0的方式，将无用的信息去掉，可以有效防止背景噪音在特征提取过程中对行人主体特征造成干扰。

图3为样本平衡优化模块示意图。如图3所示，由于数据集不是以属性识别任务进行创建的，所以在属性方面，数据集存在正负样本不平衡的问题。比如在“上衣类型”这一属性中，正样本“上衣为短袖”远比负样本“上衣为长袖”的样本数量要多；“下衣颜色为红色”这一属性的负样本“颜色不为红色”远比正样本“颜色为红色”的样本数量要多。所以在进行训练时，模型往往会出现由于正负样本不平衡而造成的训练不充分、准确率不高等问题。因此，我们针对正负样本不平衡属性进行了权重优化处理。由于行人属性在Mrket-1501-attribute数据集被转换为30个二分类问题，因此属性标签采用二分类交叉熵损失函数进行计算，公式如下：

其中，n∈1，2，…，N，N表示训练集图像个数，l∈1，2，…，L，L表示属性个数，x_nl表示第n张图像第l个属性的预测值，y_nl表示真实值，L_M表示各属性样本合理比例，具体如下：

其中，i∈1，2，…，I,I表示属性种类个数,例如普遍的二分类以及多分类中的四分类、八分类，k∈1，2，…，K，K表示各种分类属性中的属性值个数。我们计算了数据集中各属性正负样本的数量以及每类属性的正样本合理占比。所谓正样本合理占比，即该类属性正样本的合理概率值，例如“性别”属性为二分类属性，包含“男性”和“女性”，正样本合理占比为50％，而“年龄”属性为多分类属性，包含“儿童”、“青少年”、“成年人”、“老年人”四种选项，为了计算方便，将多分类属性分为四个二分类属性，即“是否为儿童”、“是否为青少年”、“是否为成年人”、“是否为老年人”，因此正样本合理占比为25％。

具体值如下：

训练过程中，提高正负样本不平衡且偏离合理占比属性的权重，力求此类属性可以进行更多的训练，以此来达到更好的识别效果。

另外，传统的属性识别可能会由于光线、遮挡、分辨率低等因素造成某些图像的属性识别率较低，但是对于基于监控的行人属性数据集来说，行人图像是从不同监控视频的不同序列片段所截取的不同帧，每一组序列片段，都有着行人身份信息相同，行人属性信息相同，行人图像不相同的特点。因此，利用行人身份信息辅助样本平衡优化可以进一步提高行人属性识别能力。数据集包含多个行人身份信息，所以身份标签采用多分类交叉熵损失函数。公式如下：

W₂＝λ*exp(-λ*epoch) (8)

Loss＝Loss_F+Loss_I (9)

其中，i∈1，2，…，I，I表示训练集行人身份个数，x_ni表示第n张图像第i个行人身份的预测值，y_n表示第n张图像行人身份的真实值，λ取0.3。

最后，样本平衡损失与身份损失融合作为模型总损失。基于身份信息融合的行人属性样本平衡优化方法，可以弥补跨任务数据集正负样本不平衡的缺陷，提升模型的识别能力。

在本发明中，提出了一种图像增强与样本平衡优化模型IEBO，包含一个基于色彩增强与噪音抑制的图像增强模块(IE)、一个基于身份信息融合的行人属性样本平衡优化模块(SBO)。考虑在图像特征提取之前，先进行色彩增强并通过提取行人主体区域的方式减少背景噪音对行人信息的干扰，再经过深层神经网络提取行人主体特征信息，然后基于身份信息针对不平衡属性进行属性权重平衡优化，最终达到提高属性识别性能的目的。

最后，本发明的上述示例的细节仅为解释说明本发明所做的举例，对于本领域技术人员，对上述实施例的任何修改、改进和替换等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.基于基于图像增强与样本平衡优化的行人属性识别方法，其特征在于，所述方法包括以下步骤：

S1.构建基于色彩增强与噪音抑制的图像增强模块。

S2.构建基于身份信息融合的行人属性样本平衡优化模块。

2.根据权利要求1所述的基于图像增强与样本平衡优化的行人属性识别方法，其特征在于，所述S1的具体过程为：

图像输入网络之后首先将像素值映射到[0,1]范围，然后分别对彩色图像的RGB通道单独进行处理，之后对图像进行调整以获得全局白平衡，通过最大最小归一化将F(X)拉伸到[0,1]范围，然后恢复到RGB像素值：

图像色彩增强之后，使用基于Resnet101的deeplabv3模型对行人背景进行分割，前边卷积模块采用传统的resnet101网络结构，之后通过一层rate＝2的空洞卷积，并且经过金字塔池化ASPP模型，同时对特征进行rate＝1，6，12，18四个空洞卷积和一个全局池化的并行处理，最后将并行特征图进行连接，并输入到传统的卷积神经网络中进行上采样恢复到原图。

3.根据权利要求1所述的基于图像增强与样本平衡优化的行人属性识别方法，其特征在于，所述S2的具体过程为：

由于数据集不是以属性识别任务进行创建的，所以在属性方面，数据集存在正负样本不平衡的问题。因此，我们需要针对正负样本不平衡属性进行权重优化处理。

其中，n∈1，2，…，N，N表示训练集图像个数，l∈1，2，…，L，L表示属性个数，x_nl表示第n张图像第l个属性的预测值，y_nl表示真实值，L_M表示各属性样本合理比例：

其中，i∈1，2，…，I,I表示属性种类个数,例如普遍的二分类以及多分类中的四分类、八分类，k∈1，2，…，K，K表示各种分类属性中的属性值个数。具体值如下：

传统的属性识别可能会由于光线、遮挡、分辨率低等因素造成某些图像的属性识别率较低，但是对于基于监控的行人属性数据集来说，行人图像是从不同监控视频的不同序列片段所截取的不同帧，每一组序列片段，都有着行人身份信息相同，行人属性信息相同，行人图像不相同的特点，因此，利用行人身份信息辅助样本平衡优化可以进一步提高行人属性识别能力：

W₂＝λ*exp(-λ*epoch) (8)

Loss＝Loss_F+Loss_I (9)

其中，i∈1，2，…，I，I表示训练集行人身份个数，x_ni表示第n张图像第i个行人身份的预测值，y_n表示第n张图像行人身份的真实值，λ取0.3。

最后，样本平衡损失与身份损失融合作为模型总损失。基于身份信息融合的行人属性样本平衡优化方法，可以弥补跨任务数据集正负样本不平衡的缺陷，提升模型的识别能力。

Images