CN109614853A - 一种基于身体结构划分的双线性行人再识别网络构建方法 - Google Patents

Abstract

本发明涉及一种基于身体结构划分的双线性行人再识别网络构建方法，包括以下步骤：对原始行人图像进行身体结构分块得到多个结构子框，将多个子框组合成新的行人图像，构造结构框预测子网络；设置加权的局部损失函数来训练该结构框预测子网络；构造两个子网络，分别以原始行人图像和重组后行人图像作为输入，对应地提取全局行人特征和局部行人特征；设置双线性融合层，并将其作为全局特征和局部特征的融合层，得到最终的行人特征表示；对整体网络进行训练，得到基于身体结构划分的双线性行人再识别模型。本发明结合整体特征和局部特征，充分利用了身体结构信息，通过双线性融合方法获得更具判别力的行人特征，使得***整体匹配准确率大大提升。

Description

一种基于身体结构划分的双线性行人再识别网络构建方法

技术领域

本发明属于计算机视觉行人再识别技术领域，尤其是一种基于身体结构划分的双线性行人再识别网络构建方法。

背景技术

行人再识别是一种利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，其广泛被认为是一个图像检索的子问题。通过给定一个监控行人图像，检索跨设备、不重叠视野下的该行人图像，在刑侦、安防监控等方面具有重要作用，是“平安城市”建设的重要一环。

传统行人再识别的解决方法主要有两大类：一是特征提取，即根据监控视频里的行人提取鲁棒性的特征表示；二是距离度量，即学习一个更具判别力的特征度量方法，使得同一行人的特征间距离更近。近年来，随着深度学习技术的兴起，卷积神经网络被广泛运用在行人检测、目标跟踪等视觉任务中，并表现出了出色的性能，因此，基于深度学习的行人再识别也成为了当前的一大趋势。

然而，现有的深度学习方法大多直接提取整张行人图像的特征，无法充分利用行人的身体结构信息，这些特征对于不同视角下行人的姿势变化具有较好的鲁棒性。此外，现有方法大多运用全连接层进行特征融合，特征各维度间的交融性不强，得到的融合后特征的判别力有限。因此，上述行人再识别方法的行人再识别准确率不高。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于身体结构划分的双线性行人再识别网络构建方法，解决行人再识别准确率不高的问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于身体结构划分的双线性行人再识别网络构建方法，包括以下步骤：

步骤1、对原始行人图像进行身体结构分块得到多个结构子框，将多个子框组合成新的行人图像，构造结构框预测子网络；

步骤2、采用设置加权的局部损失函数来训练该结构框预测子网络；

步骤3、构造两个子网络，分别以原始行人图像和重组后行人图像作为输入，对应地提取全局行人特征和局部行人特征；

步骤4、设置双线性融合层，并将其作为全局特征和局部特征的融合层，得到最终的行人特征表示；

步骤5、对整体网络进行训练，得到基于身体结构划分的双线性行人再识别模型。

进一步，所述步骤1的具体实现方法为：

⑴关键点定位：对原始行人图像定位多个身体关键点并将其作为结构块划分的依据；

⑵结构块预测：根据多个关键点对行人身体结构分块，并使用六个矩形结构框框出对应的身体部位：头部、上身、左臂、右臂、左腿和右腿；

(3)结构框微调：运用仿射变换，对矩形结构框的位置进行平移、旋转变换，得到微调后的结构框预测子网络。

进一步，所述身体关键点包括：头顶关键点、颈关键点、左臂的上中下三个关键点、右臂的上中下三个关键点、左腿的上中下三个关键点、右腿的上中下三个关键点

进一步，所述结构框预测子网络为放射变换子网络放射变换子网络，其结构为：

平均池化层(4×4)→卷积层1(5×5)→卷积层2(5×5)。

进一步，所述步骤2的具体实现方法为：

⑴将多个结构子框按照头部、身体、左右臂、左右腿分为四组；

⑵将四组不同身体部位特征分别用对应的局部损失函数进行训练，最后设置加权损失L_partition进行求和，其计算方法为：

其中，头部、身体、左右臂、左右腿的各权重参数为：w₁＝0.2，w₂＝0.4，w₃＝0.3，w₄＝0.1。

进一步，所述步骤3以深度残差网络为基础构建两个相同结构的子网络，两个子网络的前三个块共享参数，第四个块参数独立。

进一步，所述步骤4的具体实现方法为：

⑴定义两个子网络提取的特征向量分别为：其中n1＝n₂＝n＝1024，利用两向量的外积对其进行双线性融合的计算：其中表示外积操作，[·]表示将n₁×n₂维矩阵变换为n1n2×1维向量；

⑵采用简易双线性算法，将f_g、f_p融合为低维向量f_c∈R^d，其融合过程为：

首先，随机初始化中间向量：u_g,u_p∈{-1,1}ⁿ，v_g,v_p∈{1,2,3,…,d}ⁿ，定义两向量C_g∈R^d，C_p∈R^d，其计算方法为：其中1≤i≤d，1≤j≤n；

然后，得到如下向量：对其进行FFT变换和逆FFT变换，得到如下简易双线性融合后的特征向量：fc＝FFT^-1(FFT(C_g)⊙FFT(C_p))，其中⊙表示元素间相乘。

进一步，所述步骤5的具体实现方法为：输入图像I首先被统一为256×128×3像素尺寸，然后按照步骤1和步骤2的方法对其进行分块重组得到的图像I′，再将I和I′分别作为两个子网络的输入，设置批量大小为16，训练50000次，得到最终的行人再识别模型。

本发明的优点和积极效果是：

本发明设计合理，其充分利用身体结构信息对行人图像进行分块，相比均等分块，得到更具表现力的局部特征；在结构框预测子网络中，考虑到不同身体部位的重要性差异，引入了加权的损失函数之和，提取到更具鲁棒性和判别力的局部特征；在特征融合层，相比传统的全连接方式，运用双线性融合(外积)的方法能够提高特征的融合程度，使得融合后的特征具有较高的判别力和鲁棒性，而“简易”双线性算法的提出，有效解决了直接求外积运算量大的问题，这种融合方式提取到的行人特征，能够获得了很好的行人再识别结果，使得***整体匹配准确率大大提升。

附图说明

图1是本发明的实现原理图。

图2是本发明的结构框预测(PBE)子网络流程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于身体结构划分的双线性行人再识别网络，如图1所示，包括以下步骤：

步骤1、构造结构框预测子网络，对原始行人图像进行身体结构分块，得到六个结构子框，将这六个子框组合成新的行人图像。

如图2所示，本步骤的具体实施方法如下：

⑴关键点定位：定位14个身体关键点并将其作为结构块划分的依据，14个身体关键点分别为：头顶、颈、左臂(上中下3点)、右臂(上中下3点)、左腿(上中下3点)、右腿(上中下3点)；

⑵结构块预测：根据14个关键点，用六个矩形结构框框出对应的身体部位：头部、上身、左臂、右臂、左腿、右腿；

(3)结构框微调：运用仿射变换，对矩形结构框的位置进行平移、旋转变换，得到微调后的预测框。放射变换子网络(ATN)的结构为：

平均池化层(4×4)→卷积层1(5×5)→卷积层2(5×5)

步骤2、将六个子框按照头部、身体、左右臂、左右腿分为四组，考虑到不同身体部位特征对于行人特征的重要性差异，设置加权的局部损失函数来训练该结构框预测子网络。

本步骤的具体实施方法如下：

⑴将六个矩形结构框进行分组：头部、身体、左右臂、左右腿；

⑵考虑到不同身体部位特征对于行人特征的重要性差异，各个部分的分别用对应的局部损失函数进行训练：head_loss、body_loss、arms_loss、legs_loss，最后设置加权损失L_partition进行求和，计算过程为：

其中，通过实验验证设置各权重参数为：w₁＝0.2，w₂＝0.4，w₃＝0.3，w₄＝0.1，分别赋予上述各局部损失。

步骤3、构造两个同结构的子网络，分别以原始行人图像和重组后行人图像作为输入，可对应地提取全局行人特征和局部行人特征。

本步骤的具体实施方法如下：

⑴以深度残差网络为基础，设置两个相同结构的子网络；

⑵子网络1以原始行人图像为输入，子网络2以其对应的重组图像为输入，两个子网络在Block1,2,3共享参数，Block4参数独立，以便提取出相应的全局特征和局部特征。

步骤4、设置双线性融合层，作为全局特征和局部特征的融合层，得到最终的行人特征表示。

本步骤的具体实施方法如下：

⑴假设步骤3中两个子网络提取的特征向量分别为其中n₁＝n₂＝n＝1024，利用两向量的外积对其进行双线性融合的计算方法为：其中表示外积操作，[·]表示将n1×n2维矩阵变换为n1n2×1维向量。

⑵考虑到n1、n2较大时计算量大的问题，本发明采用了“简易”双线性算法，将f_g、f_p融合为低维向量f_c∈R^d，其算法过程为：

随机初始化中间向量u_g,u_p∈{-1,1}ⁿ，v_g,v_p∈{1,2,3,...,d}ⁿ，定义两向量C_g∈R^d，C_p∈R^d，其计算方法为：其中1≤i≤d，1≤j≤n。

接着，得到向量对其进行FFT变换和逆FFT变换，即可得到“简易”双线性融合后的特征向量f_c：f_c＝FFT^-1(FFT(C_g)⊙FFT(C_p))，其中⊙表示元素间相乘。

步骤5、对整体网络进行训练，得到基于身体结构划分的双线性行人再识别模型。

本步骤的具体实施方法如下：

输入图像I首先被统一为256×128×3像素尺寸，然后按照步骤1，2对其进行分块重组得到I′，再将I和I′分别作为两个子网络的输入，设置批量大小为16，训练50000次，得到最终的行人再识别模型。

下面按照本发明方法在公开的数据集上进行测试，进而说明本发明的效果。

测试环境：Ubuntu14.04、MATLAB R2016a

测试数据：用于行人再识别的公共数据集CUHK01、Market1501、CUHK03-labeled和CUHK03-detected。

测试指标：本发明使用了行人再识别领域常用的两个评价指标：CMC(CumulatedMatching Characteristics)曲线和mAP(meanAverage Precision)。CMC曲线是一种top-k击中概率，该指标表示相似度排名前k的样本中，正确匹配的概率累积和。曲线越接近100％性能越好；mAP是对每个类别上的准确率进行平均得到的，适用于多摄像头的情况，如本发明实验中的Market1501数据集均来自六个不同摄像头，其评价指标有CMC和mAP。

实验设置了非双线性融合网络(Con-Net)与双线性融合网络的对比：

分别计算两种网络模型下的rank-1、rank-5、rank-10的结果，结果表明本发明优于目前其他的行人再识别算法，使得***整体匹配准确率大大提升。表1至表4是本发明算法与现有算法的性能比较。

表1

表2

表3

表4

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于包括以下步骤：

步骤1、对原始行人图像进行身体结构分块得到多个结构子框，将多个子框组合成新的行人图像，构造结构框预测子网络；

步骤2、采用设置加权的局部损失函数来训练该结构框预测子网络；

步骤3、构造两个子网络，分别以原始行人图像和重组后行人图像作为输入，对应地提取全局行人特征和局部行人特征；

步骤4、设置双线性融合层，并将其作为全局特征和局部特征的融合层，得到最终的行人特征表示；

步骤5、对整体网络进行训练，得到基于身体结构划分的双线性行人再识别模型。

2.根据权利要求1所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述步骤1的具体实现方法为：

(1)关键点定位：对原始行人图像定位多个身体关键点并将其作为结构块划分的依据；

(2)结构块预测：根据多个关键点对行人身体结构分块，并使用六个矩形结构框框出对应的身体部位：头部、上身、左臂、右臂、左腿和右腿；

(3)结构框微调：运用仿射变换，对矩形结构框的位置进行平移、旋转变换，得到微调后的结构框预测子网络。

3.根据权利要求2所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述身体关键点包括：头顶关键点、颈关键点、左臂的上中下三个关键点、右臂的上中下三个关键点、左腿的上中下三个关键点、右腿的上中下三个关键点。

4.根据权利要求1或2或3所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述结构框预测子网络为放射变换子网络放射变换子网络，其结构为：

平均池化层(4×4)→卷积层1(5×5)→卷积层2(5×5)。

5.根据权利要求1或2或3所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述步骤2的具体实现方法为：

(1)将多个结构子框按照头部、身体、左右臂、左右腿分为四组；

(2)将四组不同身体部位特征分别用对应的局部损失函数进行训练，最后设置加权损失L_partition进行求和，其计算方法为：

其中，Li为每个Softmax损失，为wi每个损失函数的权重，头部、身体、左右臂、左右腿的各权重参数为：w₁＝0.2，w₂＝0.4，w₃＝0.3，w₄＝0.1。

6.根据权利要求1或2或3所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述步骤3以深度残差网络为基础构建两个相同结构的子网络，两个子网络的前三个块共享参数，第四个块参数独立。

7.根据权利要求1或2或3所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述步骤4的具体实现方法为：

(1)定义两个子网络提取的特征向量分别为：其中n₁＝n₂＝n＝1024，利用两向量的外积对其进行双线性融合的计算：其中表示外积操作，[·]表示将n₁×n₂维矩阵变换为n₁n₂×1维向量；

(2)采用简易双线性算法，将f_g、f_p融合为低维向量f_c∈R^d，其融合过程为：

首先，随机初始化中间向量：u_g，u_p∈{-1，1}ⁿ，v_g，v_p∈{1，2，3，...，d}ⁿ，定义两向量C_g∈R^d，C_p∈R^d，其计算方法为：其中1≤i≤d，1≤j≤n；

然后，得到如下向量：对其进行FFT变换和逆FFT变换，得到如下简易双线性融合后的特征向量：f_c＝FFT^-1(FFT(C_g)⊙FFT(C_p))，其中⊙表示元素间相乘。

8.根据权利要求1或2或3所述的一种基于身体结构划分的双线性行人再识别网络构建方法，其特征在于：所述步骤5的具体实现方法为：输入图像I首先被统一为256×128×3像素尺寸，然后按照步骤1和步骤2的方法对其进行分块重组得到的图像I′，再将I和I′分别作为两个子网络的输入，设置批量大小为16，训练50000次，得到最终的行人再识别模型。