CN113705348A - 一种融合多注意力机制的行人重识别方法 - Google Patents

Abstract

本发明公开了一种融合多注意力机制的行人重识别方法，包括：1、下载用于训练模型的数据集，并对数据集进行预处理；2、搭建融入多注意力机制的行人重识别网络，并选择合适的目标函数来优化模型参数；3、采用相应的评估指标来评价模型的效果；4、用训练好的模型对从视频中截取出的行人图片进行行人身份识别；本发明使用堆叠的多层卷积神经网络，并通过融合通道注意力机制和空间注意力机制来提取行人的细粒度特征，从而通过训练学习可以从行人图片中得到更加有效的高维特征，进而达到更加准确的行人重识别效果。

Description

一种融合多注意力机制的行人重识别方法

技术领域

本发明涉及计算机机器学习与人工智能技术领域，具体是一种融合多注意力机制的行人重识别方法。

背景技术

近年来，随着智能安防和视频监控领域的需求与日俱增，行人重识别研究受到了越来越广泛的关注和研究。行人重识别可以看成一个图片检索任务，它是利用计算机视觉技术判断给定的图片或视频序列中是否存在特定行人的技术，即给定一个行人图片，跨摄像头下检索出该行人。在视频监控中，由于摄像头分辨率低、光线强度不足、摄像角度不佳以及物体遮挡等因素，难以捕捉到行人清晰的人脸信息，因而难以通过人脸信息对行人身份进行辨别。在人脸信息缺失的情况下，行人重识别技术就发挥出了巨大的替代作用。行人重识别一大显著特征就是可以实现跨设备下的检索，即可以从多个不同的摄像头中检索出同一个行人。故而在如今高速发展的现代化社会中，出于智能安防和视频监控领域的迫切需要，行人重识别技术受到了越来越多的关注和研究，具有巨大的研究价值和实用价值。

早期，在深度学习技术普及之前，行人重识别研究主要是通过手工设计特征来进行的，这类方法的计算过程繁琐且最终的识别效果较差。近些年来，随着计算机硬件的快速发展和越来越多优秀的深度模型的提出，深度学习技术受到了越来越广泛的关注和发展。基于深度学习的行人识别技术也受到了众多学者的关注和研究，并取得了较大的进展和突破，其识别的准确度有了很大的提高。在基于深度学习的行人重识别方法中，按照所使用损失函数的不同，可以将其分为表征学习和度量学习两大类方法。表征学习方法旨在学习得到一个特征表示映射函数，通过将不同的行人映射到不同的高维特征空间从而对行人进行识别，通常使用分类损失函数或者验证损失函数来实现。度量学习方法旨在学习得到两张图片的相似度，即同一个行人的两张图片之间的距离很小，两个不同行人图片之间的距离很大，通常使用对比损失或者三元组损失函数来实现。相比于表征学习方法，度量学习方法通过深度神经网络直接学习得到行人图片之间的相似度，使得同一个行人的图片在高维特征空间分布更加紧凑，相应的，不同行人的图片在高维特征空间的分界面更加明晰。故而，使用度量学习方法来训练得到的模型的识别准确度较高，度量学习方法也成为了行人重识别领域的主流研究方法。

基于深度学习的行人重识别方法由于其强大的特征表示能力和识别准确性已经被广泛地应用于工业界视频监控和智能安防领域。然而目前这些方法主要是考虑整个行人图片的粗粒度特征，缺乏对行人细粒度特征的关注，如发型、衣服颜色、是否背包等。通过在深度模型中融入注意力机制，可以让模型关注到更多的局部细节信息，挖掘出关键的属性信息，从而获得更加有效的行人特征表示，进一步提高行人重识别的准确度。目前来看，融入注意力机制的行人重识别方法的研究较少，对行人细粒度的特征提取不够充分，行人重识别的准确率仍然较低，还有很大的改进空间。

发明内容

本发明的目的在于提供一种融合多注意力机制的行人重识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种融合多注意力机制的行人重识别方法，包括以下几个步骤进行：

步骤1、获取行人重识别数据集Market1501，并对数据集中的每张图片的大小进行归一化、随机裁剪和擦除数据增强，从而得到预处理后的图片集合，构成数据集L；

步骤2、将步骤1中得到的行人图片数据集L划分为训练集和测试集，并将训练集划分为多个批次，每个批次包含P个身份的行人，每个行人含有K张图片，即每个批次包含B（B= P×K）张行人图片作为训练样本；每个训练样本图片的通道个数为C、高度为H、宽度为W；

步骤3、将训练集与测试集中每个行人图片所对应的真实标签分别记为和；

步骤4、构建融合多注意力机制的行人重识别网络；

行人重识别网络将ResNet50模型作为骨干网络，在ResNet50模型的基础上，在其第1个、第2个和第3个残差块之后均加入通道注意力机制，然后在其第4个残差块之后加入空间注意力机制，紧接着在空间注意力机制之后，再加入批正则化，并将全连接层中神经元的个数改为N。

所述步骤4具体按如下过程进行：

步骤4.1、融入通道注意力机制；

通道注意力网络CA包括三个支路，第一个支路依次包括：一个全局最大池化层、一个将输入特征通道数缩小r倍的卷积层、一个RELU激活函数以及一个将输入特征通道数增大r倍的卷积层；第二个支路除将全局最大池化层改为全局平均池化层以外，与第一个支路相同；第三个支路为跳跃连接，即输出等于输入；将第一个支路和第二个支路的输出经过逐元素相加后，再经过Sigmoid激活函数得到在通道维度上的权重偏好系数WC，然后将通道维度上的权重偏好系数WC和第三个支路的输出经过逐元素相乘即得到通道注意力模块的输出。

步骤4.2、融入空间注意力机制；

所述空间注意力网络SA包括两个支路，第一个支路依次包括：一个在通道维度上的求均值AVG操作和一个在通道维度上求最大值MAX操作，并将AVG和MAX得到的结果在通道维度上进行拼接，然后通过卷积层融合通道维度上的特征，紧接着通过一个Sigmoid激活函数得到在空间维度上的权重偏好系数WS；第二个支路为跳跃连接，即输出等于输入；将空间维度上的权重偏好系数WS和第二个支路的输出经过逐元素相乘即得到空间注意力模块的输出。

步骤4.3、构建特征提取后端网络；

后端网络包括一个批正则化BN层和一个全连接FC层；后端网络的输入为所述空间注意力网络SA的输出。

步骤4.4、进行智能训练；

以训练集作为所述行人重识别网络的输入，并以与训练集所对应的行人真实标签集合作为标签，采用Triplet Loss和Cross Entropy Loss作为损失函数；行人真实标签集合和BN层之后得到的特征用于计算Triplet Loss，行人真实标签集合和全连接FC层之后得到的特征用于计算Cross Entropy Loss；然后利用Adam优化算法对行人重识别网络进行训练，不断优化网络参数，最终得到最优的行人重识别网络，用于实现对从监控视频中截取出的行人进行重识别。

与现有技术相比，本发明的有益效果是：

1．本发明将注意力机制融入行人重识别模型中，在模型提取行人高维特征的过程中加入通道注意力和空间注意力，使得模型可以学习出特征属性在通道维度和空间维度上的偏好关系，从而挖掘出关键特征属性以及抑制无用的特征属性，故而模型可以提取出更加准确有效的行人特征；融入通道注意力机制和空间注意力机制的行人重识别网络能够达到更好的行人重识别效果。

2．本发明采用一种融合多注意机制的方法；相比单独的通道注意力机制或者空间注意力机制只考虑到单方面的权重偏好，所提出的融合多注意力机制的方法可以挖掘出多个角度的特征偏好情况，从而可以自适应的对不同特征空间的信息进行选择性学习，进而提取到更加丰富和有效的特征属性，大大提升了模型行人重识别的效果。

3．本发明在特征提取后端网络中加入了批正则化BN层以优化模型训练过程，该优化方法不仅优化了特征参数高维空间的分布，加快了模型训练的速度，同时使得模型在有限的数据集上免于过拟合，从而也一定程度上提高了模型的行人重识别效果。

附图说明

图1为本发明所述网络的模型结构图。

图2为本发明的实施流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例中，一种融合多注意力机制的行人重识别方法，是根据从视频监控中截取出的行人图片识别出该行人的身份信息，从而实现基于深度学习的行人重识别，采用了一种融合通道注意力和空间注意力机制的行人重识别算法。

下载行人重识别数据集Market1501，并经过图片大小归一化、随机裁剪和擦除数据增强后得到预处理的图片集合，然后搭建完整的行人重识别模型，通过批量标准化加快模型训练速度；融合通道注意力机制和空间注意力机制提高模型的效果；采用Adam优化算法更新优化模型参数；利用最终训练好的模型识别从监控视频中截取出的行人图片对应的身份，完成整个行人重识别的功能。

具体的说，如图2所示，是按照以下步骤进行：

步骤1、获取行人重识别数据集Market1501，并对数据集中的每张图片的大小进行归一化、随机裁剪和擦除数据增强，从而得到预处理后的图片集合，构成数据集L；

步骤2、将步骤1中得到的行人图片数据集L划分为训练集和测试集，并将训练集划分为多个批次，每个批次包含P个身份的行人，每个行人含有K张图片，即每个批次包含B（B= P×K）张行人图片作为训练样本；每个训练样本图片的通道个数为C、高度为H、宽度为W；具体实例中P取16，K取4，B为64，C为3，H为128，W为64；

步骤3、将训练集与测试集中每个行人图片所对应的真实标签分别记为和；

步骤4、构建融合多注意力机制的行人重识别网络，网络结构如图1所示；

行人重识别网络将ResNet50模型作为骨干网络，在ResNet50模型的基础上，在其第1个、第2个和第3个残差块之后均加入通道注意力（Channel Attention， CA）机制，然后在其第4个残差块之后加入空间注意力（Spatial Attention，SA）机制，紧接着在空间注意力机制之后，再加入批正则化（Batch Normalization， BN），并将全连接层中神经元的个数改为N，具体实例中N取751。

步骤4具体按如下过程进行：

步骤4.1、融入通道注意力机制；

通道注意力网络CA包括三个支路，第一个支路依次包括：一个全局最大池化层，一个将输入特征通道数缩小r倍的卷积层，一个RELU激活函数以及一个将输入特征通道数增大r倍的卷积层，具体实例中r取16；第二个支路除将全局最大池化层改为全局平均池化层以外，与第一个支路相同；第三个支路为跳跃连接，即输出等于输入；将第一个支路和第二个支路的输出经过逐元素相加后，再经过Sigmoid激活函数得到在通道维度上的权重偏好系数WC，然后将通道维度上的权重偏好系数WC和第三个支路的输出经过逐元素相乘即得到通道注意力模块的输出。

通道注意力机制通过建模学习得到特征属性在通道维度上的权重偏好关系，从而挖掘出有效的特征属性并抑制无效的特征属性，进而得到更加准确有效的行人特征，达到更加准确的行人重识别效果。

步骤4.2、融入空间注意力机制；

空间注意力网络SA包括两个支路，第一个支路依次包括：一个在通道维度上的求均值AVG操作和一个在通道维度上求最大值MAX操作，并将AVG和MAX得到的结果在通道维度上进行拼接，然后通过卷积层融合通道维度上的特征，紧接着通过一个Sigmoid激活函数得到在空间维度上的权重偏好系数WS；第二个支路为跳跃连接，即输出等于输入；将空间维度上的权重偏好系数WS和第二个支路的输出经过逐元素相乘即得到空间注意力模块的输出。空间注意力机制通过建模学习得到特征属性在空间维度上的权重偏好关系，从而挖掘出有效的特征属性并抑制无效的特征属性，可以进一步得到更加准确有效的行人特征，实现更加准确的行人重识别效果。

步骤4.3、构建特征提取后端网络；

后端网络包括一个批正则化BN层和一个全连接FC层；后端网络的输入为空间注意力网络SA的输出；加入了批正则化BN层不仅可以优化特征参数在高维特征空间中的分布，从而有利于模型参数的学习，而且可以使模型在有限的数据集上免于过拟合，从而在一定程度上提高了模型的行人重识别效果。具体实例中全连接FC层包含751个神经元，对应训练集中751个行人身份。

步骤4.4、进行智能训练；

以训练集作为行人重识别网络的输入，并以与训练集所对应的行人真实标签集合作为标签，采用Triplet Loss和Cross Entropy Loss作为损失函数。具体实例中，行人真实标签集合和BN层之后得到的特征用于计算Triplet Loss，行人真实标签集合和全连接FC层之后得到的特征用于计算Cross Entropy Loss 。然后利用Adam优化算法对行人重识别网络进行训练，不断优化网络参数，最终得到最优的行人重识别网络，用于实现对从监控视频中截取出的行人进行重识别。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种融合多注意力机制的行人重识别方法，其特征在于，包括以下几个步骤进行：

步骤1、获取行人重识别数据集Market1501，并对数据集中的每张图片的大小进行归一化、随机裁剪和擦除数据增强，从而得到预处理后的图片集合，构成数据集L；

步骤2、将步骤1中得到的行人图片数据集L划分为训练集和测试集，并将训练集划分为多个批次，每个批次包含P个身份的行人，每个行人含有K张图片，即每个批次包含B张行人图片作为训练样本，其中B = P×K；每个训练样本图片的通道个数为C、高度为H、宽度为W；

步骤3、将训练集与测试集中每个行人图片所对应的真实标签分别记为和；

步骤4、构建融合多注意力机制的行人重识别网络；行人重识别网络将ResNet50模型作为骨干网络，在ResNet50模型的基础上，在其第1个、第2个和第3个残差块之后均加入通道注意力机制，然后在其第4个残差块之后加入空间注意力机制，紧接着在空间注意力机制之后，再加入批正则化，并将全连接层中神经元的个数改为N。

2.根据权利要求1所述的一种融合多注意力机制的行人重识别方法，其特征在于，所述步骤4包括：融入通道注意力机制、融入空间注意力机制、构建特征提取后端网络和进行智能训练；

其中，步骤4.1、融入通道注意力机制；

通道注意力网络CA包括三个支路，第一个支路依次包括：一个全局最大池化层、一个将输入特征通道数缩小r倍的卷积层、一个RELU激活函数以及一个将输入特征通道数增大r倍的卷积层；第二个支路除将全局最大池化层改为全局平均池化层以外，与第一个支路相同；第三个支路为跳跃连接，即输出等于输入；将第一个支路和第二个支路的输出经过逐元素相加后，再经过Sigmoid激活函数得到在通道维度上的权重偏好系数WC，然后将通道维度上的权重偏好系数WC和第三个支路的输出经过逐元素相乘即得到通道注意力模块的输出；

步骤4.2、融入空间注意力机制；

所述空间注意力网络SA包括两个支路，第一个支路依次包括：一个在通道维度上的求均值AVG操作和一个在通道维度上求最大值MAX操作，并将AVG和MAX得到的结果在通道维度上进行拼接，然后通过卷积层融合通道维度上的特征，紧接着通过一个Sigmoid激活函数得到在空间维度上的权重偏好系数WS；第二个支路为跳跃连接，即输出等于输入；将空间维度上的权重偏好系数WS和第二个支路的输出经过逐元素相乘即得到空间注意力模块的输出；

步骤4.3、构建特征提取后端网络；

后端网络包括一个批正则化BN层和一个全连接FC层；后端网络的输入为所述空间注意力网络SA的输出；

步骤4.4、进行智能训练；

以训练集作为所述行人重识别网络的输入，并以与训练集所对应的行人真实标签集合作为标签，采用Triplet Loss和Cross Entropy Loss作为损失函数，利用Adam优化算法对行人重识别网络进行训练，不断优化网络参数，最终得到最优的行人重识别网络，用于实现对从监控视频中截取出的行人进行重识别。

3.根据权利要求2所述的一种融合多注意力机制的行人重识别方法，其特征在于，步骤4.4中，行人真实标签集合和BN层之后得到的特征用于计算Triplet Loss，行人真实标签集合和全连接FC层之后得到的特征用于计算Cross Entropy Loss。

Images