CN109271895A - 基于多尺度特征学习和特征分割的行人重识别方法 - Google Patents

Abstract

一种基于多尺度特征学习和特征分割的行人重识别方法，主要解决现有技术中仅有两种尺度带来的表征性差和利用人体部位识别提取人体特征不准确造成误差的问题。本发明的具体步骤如下：(1)构建多尺度特征学习模块；(2)构建特征分割模块；(3)构建特征学习网络；(4)对包含行人的视频进行预处理；(5)训练特征学习网络；(6)计算特征距离；(7)获得匹配图像；本发明利用多尺度特征学习模块提取行人图像多尺度特征，利用特征分割模块提取全局特征和粗细两种粒度的局部特征，所提特征可区分性好，鲁棒性高，使行人重识别达到较高的精度。

Description

基于多尺度特征学习和特征分割的行人重识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中的一种基于多尺度特征学习和特征分割的行人重识别方法。本发明可用于对不同摄像头不同角度的监控视频得到的行人图像是否为同一行人进行识别。

背景技术

随着当今社会的不断发展，社会公共安全成为人们关注的热门话题，在公共领域安装了大量的监控摄像头，每天产生海量的视频数据，对这些数据进行智能化分析成为一个热门的研究课题。行人重识别是通过将某个出现在摄像头下的目标行人，与监控网络中其他摄像头下的所有行人比对，将目标准确迅速地标识出来，找到所有摄像头下的所有目标行人图像，进而可以实现对目标行人跨摄像头的追踪和定位。行人重识别是通过行人图像间的比对来判断是否是同一个行人目标来实现，但是由于不同摄像头的角度不同，监控场景复杂，背景和光照各异，所得到的行人的姿态、外观等也有较大差异；再加上行人之间或者行人与其他物体之间不同程度的遮挡等，都给行人重识别带来巨大挑战。

上海交通大学在其申请的专利文献“一种多尺度特征融合的行人比对方法”(专利申请号：201410635897.5，申请公布号：CN104376334A)中提出了一种多尺度特征融合的行人比对方法。该方法的实现步骤为：建立行人集合；利用低尺度图像，提取颜色和轮廓特征，级联并融合得到低尺度特征；对低尺度特征进行半监督SVM学习，进行第一次行人比对筛选，得到候选行人集；利用高尺度图像，采用基于局部特征点的比对算法，计算筛选出的候选行人集合中的各行人与目标行人间的相似度；将两个尺度上的行人相似度大小进行叠加，得到筛选的候选行人集中最终候选行人的排序结果。该方法存在的不足之处是，仅提取了手工设计的高低两种尺度特征，尺度较少，表征性差，手工设计的特征普适性不高，容易错失目标。

中国计量学院在其申请的专利文献“基于迁移学习的行人重识别方法”(专利申请号：201510445055.8，申请公布号：CN105095870A)中提出了一种基于迁移学习的行人重识别方法。该方法实现的步骤是：行人前景分割、行人特征提取、源域模型学习、目标域迁移学习、行人距离度量；该方法首先采用GrabCut算法选取出视频中的行人目标；再利用人体对称模型将人体分为头、左右上肢、左右腿五个区域并提取颜色、边缘、纹理特征；利用源域的行人数据训练优化一个神经网络模型；在此模型参数基础上，利用目标域数据迁移学习；最后使用经目标域改进的神经网络模型进行行人比对，得到行人距离度量的排序，最终得出行人重识别结果。该方法存在的不足之处是，视频监控中行人姿态各异，利用人体对称模型识别人体部位的准确性难以保证，提取的人体头、四肢等区域特征不精确，所带来的误差导致行人重识别结果精度低。

发明内容

本发明的目的在于针对上述现有技术的不足，提出基于多尺度特征学习和特征分割的行人重识别方法。

实现本发明目的的思路是，构建一个多尺度特征学习网络，以提取行人图像多尺度特征，构建特征分割模块，利用此模块进一步提取不同尺度下特征的全局和粗细两种粒度的局部特征，并自适应融合所有尺度下的全局和粗细粒度的局部特征，使提取的特征更具可区分性，更具鲁棒性，以提高算法精度。

本发明的具体步骤包括如下：

(1)构建多尺度特征学习模块：

(1a)搭建一个11层的多尺度特征学习模块，其结构依次为：输入层→卷积层→最大池化层→八个沙漏模块；所述沙漏模块的结构为十个串联的残差块，其中第一个残差块的输出与第十个残差块的输入相连接，第二个残差块的输出与第九个残差块的输入相连接，第三个残差块的输出与第八个残差块的输入相连接，第四个残差块的输出与第七个残差块的输入相连接；

(1b)设置多尺度特征学习模块各模块参数；

(2)构建特征分割模块：

(2a)搭建八个4层的特征分割模块，其结构依次为：特征分割层→全局池化融合层→全卷积层→SoftMax分类层；

(2b)设置特征分割模块各层参数如下：将池化融合层输出的特征映射图设置为1792个，将全卷积层的输出特征映射图设置为256个；

(3)构建特征学习网络：

将多尺度特征学习模块中的每个沙漏模块输出与每个特征分割模块输入一对一连接，将每个沙漏模块中的第七、八、九、十共四个残差块输出与每个特征分割模块输入四对一连接；

(4)对包含行人的视频进行预处理：

(4a)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合A，将行人图像集合A中的行人图像大小统一设置为384×124像素；

(4b)将行人图像集合A中同一行人的所有图像，标注为同一类行人图像的真实标签，每一类至少包含一幅行人图像，将带有真实标签的所有行人图像组成行人图像训练集；

(4c)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合B，将行人图像集合B中的行人图像大小统一设置为384×124像素；

(4d)从行人图像集合B中任意选取一幅行人图像，作为查询目标行人图像，将行人图像集合B中其余的行人图像作为候选行人图像集；

(5)训练特征学习网络：

(5a)将行人图像训练集输入到特征学习网络，将第八个特征分割模块SoftMax分类层输出的概率分布，作为每个行人图像的预测概率分布，将预测概率分别中最大值所属类别作为行人图像的预测标签；

(5b)使用标签平滑的交叉熵公式，计算行人图像训练集中每个行人图像的预测标签与该行人图像对应真实标签的交叉熵，将所有交叉熵之和作为特征学习网络的损失值；

(5c)使用随机梯度下降法，训练特征学习网络；

(6)计算特征距离：

(6a)将查询目标行人图像和候选行人图像集中每个行人图像输入到特征学习网络，将特征学习网络中第八个特征分割模块全卷积层输出的特征映射图，作为每个行人图像特征；

(6b)利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离；

(7)获得匹配图像：

将候选行人集中的行人图像按照特征距离的大小升序排序，将前20幅图像作为行人重识别的匹配图像。

本发明与现有的技术相比具有以下优点：

第一，由于本发明构建了一个多尺度特征学习模块，提取行人图像多尺度特征，多种尺度的特征更能充分表示不同分辨率下的行人图像，克服了现有技术中仅有两种尺度带来的表征性差以及人为设计特征造成的普适性不高的问题，使得本发明具有特征表征性好，普适性高的优点。

第二，由于本发明构建了特征分割模块提取不同尺度下全局特征和粗细两种不同粒度的局部特征，充分利用行人图像的全局和局部信息，克服了现有技术中对识别人体部位不准确造成误差的问题，使得本发明具有复杂度低，识别精度高的优点。

附图说明

图1是本发明的流程图；

图2是本发明的沙漏模块示意图；

图3是本发明的仿真图。

具体实施方式

下面结合附图1，对本发明做进一步的详细描述。

参照附图1，对本发明的实现步骤做进一步的详细描述。

步骤1，构建多尺度特征学习模块。

搭建一个11层的多尺度特征学习模块，其结构依次为：输入层→卷积层→最大池化层→八个沙漏模块；所述沙漏模块的结构为十个串联的残差块，其中第一个残差块的输出与第十个残差块的输入相连接，第二个残差块的输出与第九个残差块的输入相连接，第三个残差块的输出与第八个残差块的输入相连接，第四个残差块的输出与第七个残差块的输入相连接；

所述残差块为九层，其结构依次为：第一个批标准化层→第一个ReLU层→第一个卷积层→第二个批标准化层→第二个ReLU层→第二个卷积层→第三个批标准化层→第三个ReLU层→第三个卷积层，第一个批标准化层与第三个卷积层相连接后作为残差块的输出；将残差块中第一个卷积层的特征映射图设置为64个，卷积核大小设置为3×3个像素，步长设置为1个像素，将残差块中第二个卷积层的特征映射图设置为256个，卷积核大小设置为1×1个像素，步长设置为1个像素，将残差块中第三个卷积层的特征映射图设置为256个，卷积核大小设置为3×3个像素，步长设置为1个像素。

设置多尺度特征学习模块各模块参数。

所述多尺度特征学习网络各模块的参数设置如下：将多尺度特征学习网络中的卷积层特征映射图总数设为64个，卷积核大小设置为7×7个像素，步长大小设置为2个像素；将多尺度特征学习网络中的最大池化层的步长大小设置为2个像素。

步骤2，构建特征分割模块。

搭建八个4层的特征分割模块，其结构依次为：特征分割层→全局池化融合层→全卷积层→SoftMax分类层。

设置特征分割模块各层参数如下：将池化融合层输出的特征映射图设置为1792个，将全卷积层的输出特征映射图设置为256个。

步骤3，构建特征学习网络。

将多尺度特征学习模块中的每个沙漏模块输出与每个特征分割模块输入一对一连接，将每个沙漏模块中的第七、八、九、十共四个残差块输出与每个特征分割模块输入四对一连接。

参见附图2，对本发明的沙漏模块与特征分割模块级联方式做进一步的详细描述。

图2中的十个矩形表示十个残差块，十个残差块组成了沙漏状的沙漏模块。图2中的一个圆角矩形表示特征分割模块。

将第七、八、九、十个共四个残差块的输出作为每个沙漏模块的输出，每个沙漏模块的输出与一个特征分割模块的输入相连接。

将特征学***等分为1、2、4份，输入到全局池化融合层；在全局池化融合层中，对特征映射图分别使用全局最大池化操作和全局平均池化操作，将两种池化操作输出的特征映射图相加作为池化融合层的输出。

步骤4，对包含行人的视频进行预处理。

从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合A，将行人图像集合A中的行人图像大小统一设置为384×124像素；

将行人图像集合A中同一行人的所有图像，标注为同一类行人图像的真实标签，每一类至少包含一幅行人图像，将带有真实标签的所有行人图像组成行人图像训练集；

从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合B，将行人图像集合B中的行人图像大小统一设置为384×124像素；

从行人图像集合B中任意选取一幅行人图像，作为查询目标行人图像，将行人图像集合B中其余的行人图像作为候选行人图像集；

步骤5，训练特征学习网络。

将行人图像训练集输入到特征学习网络，将第八个特征分割模块SoftMax分类层输出的概率分布，作为每个行人图像的预测概率分布，将预测概率分别中最大值所属类别作为行人图像的预测标签。

使用标签平滑的交叉熵公式，计算行人图像训练集中每个行人图像的预测标签与该行人图像对应真实标签的交叉熵，将所有交叉熵之和作为特征学习网络的损失值。

所述标签平滑的交叉熵公式如下：

其中，L_h表示行人图像训练集中第h个行人图像的预测标签与该行人图像对应真实标签的交叉熵，K表示行人图像训练集中行人图像类别总数，∑表示求和操作，k表示行人图像训练集中行人图像类别的序号，ε表示取值为0.1的平滑参数，q_h(k)表示行人图像训练集中第h个行人图像为第k(1≤k≤K)类的真实标签概率，若第h个行人图像真实标签为k(1≤k≤K)，真实标签概率值取1，若第h个行人图像真实标签不为k(1≤k≤K)，真实标签概率值取0，log表示以2为底的对数操作，p_h(k)表示行人图像训练集中第h个行人图像为第k(1≤k≤K)类的预测标签概率。

使用随机梯度下降法，训练特征学习网络。

步骤6，计算特征距离。

将查询目标行人图像和候选行人图像集中每个行人图像输入到特征学习网络，将特征学习网络中第八个特征分割模块全卷积层输出的特征映射图，作为每个行人图像特征。

利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离。

所述欧氏距离公式如下：

其中，d(x,y)表示欧几里得空间中向量x与向量y的距离，表示开方操作，n表示向量的维度，∑表示求和操作，j表示维度序号，x_j表示向量x第j维的值，y_j表示向量y第j维的值。

步骤7，获得匹配图像。

将候选行人集中的行人图像按照特征距离的大小升序排序，将前20幅图像作为行人重识别的匹配图像。

下面结合仿真实验对本发明的效果做进一步的描述。

1.仿真条件：

本发明仿真实验的硬件测试平台是：CPU为Intel(R)Core(TM)i9-7900X，主频为3.3GHz，内存32GB，GPU为NVIDIA 1080Ti；软件平台是：Ubuntu 16.04LTS。

2.仿真内容与结果分析：

本发明的仿真实验是采用本发明的方法，在Market-1501和DukeMTMC-reID两个公开数据集上，对行人重识别模型进行训练和测试，仿真结果如图3所示，其中，图3(a)为本发明仿真实验测试时选取的查询目标行人图像。图3(b)至(u)为20幅最佳匹配图像，该20幅最佳匹配图像是采用本发明的方法，将候选行人集中所有图像，按特征距离升序排序后获得的特征距离最小的前20幅图像，该20幅图像与目标行人图像最为匹配。其中图3(b)至(h)共7幅图像中的行人与查询目标行人图像中的行人为同一行人，为行人重识别的准确识别结果，图3(i)至(u)共13幅图像中的行人与查询目标行人图像中的行人不为同一行人。

为了评价本发明方法得到的行人重识别模型的精度，使用累积匹配曲线(CMC曲线)中Rank-1、Rank-5、Rank-10、Rank-20四个点的值进行评价，得到的结果如表1所示。

所述累积匹配曲线(CMC曲线)Rank-t为前t幅最佳匹配图像中与目标行人为同一行人的行人图像所占候选行人集中与目标行人为同一行人的所有行人图像的百分比。

表1行人重识别模型精度评价表

从表1中可见，本发明的行人重识别结果在两个数据集上具有较高的精度，说明本发明利用多尺度特征学习模块提取多尺度特征，利用特征分割模块提取不同尺度下全局特征和粗细两种不同粒度的局部特征，所提特征可区分性好，鲁棒性高，使行人重识别达到较高的精度。

Claims (5)

1.一种基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，利用所构建的多尺度特征学习网络提取行人图像多尺度特征，利用所构建的特征分割模块提取不同尺度下全局特征和粗细两种不同粒度的局部特征；该方法的具体步骤包括如下：

(1)构建多尺度特征学习模块：

(1a)搭建一个11层的多尺度特征学习模块，其结构依次为：输入层→卷积层→最大池化层→八个沙漏模块；所述沙漏模块的结构为十个串联的残差块，其中第一个残差块的输出与第十个残差块的输入相连接，第二个残差块的输出与第九个残差块的输入相连接，第三个残差块的输出与第八个残差块的输入相连接，第四个残差块的输出与第七个残差块的输入相连接；

(1b)设置多尺度特征学习模块各模块参数；

(2)构建特征分割模块：

(2a)搭建八个4层的特征分割模块，其结构依次为：特征分割层→全局池化融合层→全卷积层→SoftMax分类层；

(2b)设置特征分割模块各层参数如下：将池化融合层输出的特征映射图设置为1792个，将全卷积层的输出特征映射图设置为256个；

(3)构建特征学习网络：

将多尺度特征学习模块中的每个沙漏模块输出与每个特征分割模块输入一对一连接，将每个沙漏模块中的第七、八、九、十共四个残差块输出与每个特征分割模块输入四对一连接；

(4)对包含行人的视频进行预处理：

(4a)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合A，将行人图像集合A中的行人图像大小统一设置为384×124像素；

(4b)将行人图像集合A中同一行人的所有图像，标注为同一类行人图像的真实标签，每一类至少包含一幅行人图像，将带有真实标签的所有行人图像组成行人图像训练集；

(4c)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合B，将行人图像集合B中的行人图像大小统一设置为384×124像素；

(4d)从行人图像集合B中任意选取一幅行人图像，作为查询目标行人图像，将行人图像集合B中其余的行人图像作为候选行人图像集；

(5)训练特征学习网络：

(5a)将行人图像训练集输入到特征学习网络，将第八个特征分割模块SoftMax分类层输出的概率分布，作为每个行人图像的预测概率分布，将预测概率分别中最大值所属类别作为行人图像的预测标签；

(5b)使用标签平滑的交叉熵公式，计算行人图像训练集中每个行人图像的预测标签与该行人图像对应真实标签的交叉熵，将所有交叉熵之和作为特征学习网络的损失值；

(5c)使用随机梯度下降法，训练特征学习网络；

(6)计算特征距离：

(6a)将查询目标行人图像和候选行人图像集中每个行人图像输入到特征学习网络，将特征学习网络中第八个特征分割模块全卷积层输出的特征映射图，作为每个行人图像特征；

(6b)利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离；

(7)获得匹配图像：

将候选行人集中的行人图像按照特征距离的大小升序排序，将前20幅图像作为行人重识别的匹配图像。

2.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(1a)中所述残差块为九层，其结构依次为：第一个批标准化层→第一个ReLU层→第一个卷积层→第二个批标准化层→第二个ReLU层→第二个卷积层→第三个批标准化层→第三个ReLU层→第三个卷积层，第一个批标准化层与第三个卷积层相连接后作为残差块的输出；将残差块中第一个卷积层的特征映射图设置为64个，卷积核大小设置为3×3个像素，步长设置为1个像素，将残差块中第二个卷积层的特征映射图设置为256个，卷积核大小设置为1×1个像素，步长设置为1个像素，将残差块中第三个卷积层的特征映射图设置为256个，卷积核大小设置为3×3个像素，步长设置为1个像素。

3.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(1b)中所述多尺度特征学习网络各模块的参数设置如下：将多尺度特征学习网络中的卷积层特征映射图总数设为64个，卷积核大小设置为7×7个像素，步长大小设置为2个像素；将多尺度特征学习网络中的最大池化层的步长大小设置为2个像素。

4.根据权利要求1所述的基于多尺度特征学***滑的交叉熵公式如下：

其中，L_h表示行人图像训练集中第h个行人图像的预测标签与该行人图像对应真实标签的交叉熵，K表示行人图像训练集中行人图像类别总数，∑表示求和操作，k表示行人图像训练集中行人图像类别的序号，ε表示取值为0.1的平滑参数，q_h(k)表示行人图像训练集中第h个行人图像为第k(1≤k≤K)类的真实标签概率，log表示以2为底的对数操作，p_h(k)表示行人图像训练集中第h个行人图像为第k(1≤k≤K)类的预测标签概率。

5.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(6b)中所述欧氏距离公式如下：

其中，d(x,y)表示欧几里得空间中向量x与向量y的距离，表示开方操作，n表示向量的维度，∑表示求和操作，j表示维度序号，x_j表示向量x第j维的值，y_j表示向量y第j维的值。