CN107832672A - 一种利用姿态信息设计多损失函数的行人重识别方法 - Google Patents

Abstract

本发明公开了一种利用姿态信息设计多损失函数的行人重识别方法，该方法可有效解决监控视频内行人遮挡频繁、视频光照差异大以及非刚性行人姿态多变所带来的困难，在安防监控等领域具有广泛应用。该方法主要分为两个阶段，分别是离线阶段和在线阶段。其中离线阶段负责训练学习高准确度的深度学习网络模型，该阶段包含预处理、关节点信息提取、提取局部特征并与主干网络框架提取的全局特征进行特征融合，最后将融合的特征利用五元组损失函数完成训练。在线阶段则使用训练好的深度学习网络模型进行特征提取，从而通过相似度计算实现待分析目标与已存储目标图片库之间的行人重识别。

Description

一种利用姿态信息设计多损失函数的行人重识别方法

技术领域

本发明属于计算机视觉技术领域，更具体的讲，涉及一种利用姿态信息设计多损失函数的行人重识别方法，是一种可以抵抗行人遮挡、姿态多变且能够应用于智能监控分析***的精准行人重识别方法。

背景技术

行人重识别技术是指在多个相机内检索给定目标，并将检索结果进行关联匹配。该技术为视频监控领域，如行人检索，跨相机跟踪，人机交互等应用提供基础支持。对于海量的视频数据的人物搜查任务，行人重识别可以极大地解放人力。然而由于相机拍摄视角不同、光照条件复杂、遮挡频繁、非刚性行人姿态多变等原因使得行人重识别问题十分具有挑战性。为克服这些困难，研究者们在过去的20年里提出了许多不同的解决方案。根据算法原理大致可以分为设计表达特征和优化距离度量两类算法。

设计表达特征是指寻找对图像外观变化鲁棒的特征。基于特征表达的方法关注如何设计具有对行人具有辨识度和对图像变化具有稳定性的特征描述。包括颜色直方图、纹理特征、局部特征点等低层视觉特征以及具有语义属性的中层特征。

为了能够有效利用空间信息，现有的方法通常将图像划分为不同的区域，如2006年到2013年郑伟诗等人都曾将行人图像从上到下分为多个水平长条。2010年Farenzena等利用图像对称和非对称先验理论，将行人图像划分为身体头部、躯干和腿部三部分，以提取不同区域之间的特征组合。得益于大数据量行人重识别数据集Marker1501、MARS的出现，研究者们开始使用基于深度学***划分的局部条带与原图同时提取全局与局部特征。然而由于不同相机视角以及行人姿态的变化，水平分割会产生误对齐，反而会影响模型的准确率。基于以上考虑，本发明采用行人关节点检测得到较为准确的局部位置，达到基于语义的对齐，为全局和局部特征互补融合提供了关键条件。

优化距离度量是指学习一种距离空间使得属于同一人的图像之间特征距离相近，属于不同人的图像之间特征距离远。2009年Weinberger等人提出大间隔最近邻分类(largemargin nearest neighbour，LMNN)，采用了三元组约束使新的度量空间中，每个样本的k个最近的邻居都属于同一类。2012年，Kostinger等人提出保持简单直接的(Keep is Simpleand Straight,KISS)的距离度量学习算法。此后逐渐有学者将距离度量与深度学习结合起来，建立验证模型进行行人重识别。该类模型以图像对为网络输入，在提取图像特征后同时计算特征之间的距离，最终输出图像之间的相似度。将提取特征及相似性度量集成于一个框架内是该类模型的主要优势。然而仅使用验证模型，只能提取到图片对之间的差异性特征。每张图片自身具有的显著性特征经常被忽略。因此本发明考虑联合分类模型和验证模型进行训练，同时计算分类损失和验证损失，并对两者做加权以达到模型互补。

随着深度学习在计算机视觉领域多个子问题上的普遍应用，Wei等人提出的在复杂场景中准确提取关节点信息的方法为行人重识别精确局部信息获取提供了可能。考虑到监控视频内的行人数据姿态变化呈现一定的规律，极少出现异常姿态，基于深度学习办法自动提取关节点信息的算法可以应用到行人重识别问题内。因此，本发明利用该方法得到的关节信息计算人体的局部位置并且推测行人姿态朝向，其中局部位置信息可用于提取局部特征与全局特征融合，行人姿态朝向可用于设计五元组损失函数，这些信息均可以在复杂的监控环境下提高行人重识别的准确度。

发明内容

本发明的目的是：克服现有技术的不足，提供一种利用姿态信息设计多损失函数的行人重识别方法，能够应对监控视频内行人遮挡频繁、光照差异大、非刚性行人姿态多变等情况，并且可以集成到任意智能监控***中实现对行人的基础分析。

本发明采用的技术方案为：一种利用姿态信息设计多损失函数的行人重识别方法，包括：离线提取特征网络模型训练、在线行人重识别两部分主要内容；

步骤(1)、离线提取特征网络模型训练阶段：

(m1)对所有图片进行预处理，原始图片rI_i处理后用I_i表示；

(m2)针对每一张图片检测关节点信息，得到的18个关节点信息存在P_Ii＝{x₁，y₁，……，x₁₈，y₁₈}中，并有对应的布尔型数组label表示是否检测到了不同的关节点，label_i＝(True or False)；

(m3)根据步骤(m2)中提取的关节点信息，推测每一个行人的身高high_i、分别计算头部-躯干-腿部的局部区域信息

(m4)根据步骤(m2)提取的关节点信息，推测行人目标的姿态朝向，记为dir_i＝(1or2or 3)，其中等于1的时候表示正向样本，2表示侧向样本，3表示背向样本；

(m5)根据设计的主干网络提取全局特征，根据步骤(m3)提取的局部区域位置信息及分支网络结构提取局部特征，并将每张图片的全局特征与局部特征融合，共同形成表述性特征向量；

(m6)根据数据真实标签计算多分类损失函数以及本发明的第一重三元组损失函数，同时根据步骤(m4)推测的行人姿态朝向设计五元组并计算第二重五元组损失函数；

(m7)联合步骤(m6)计算的多种损失函数误差训练当前特征提取网络，并分析不同损失函数权重对网络的影响，选择最佳的权重λ₁和λ₂来完成联合训练；

步骤(2)、在线行人重识别阶段：

(s1)预处理图片库内所有图片I_gallery，并利用步骤(1)离线阶段训练得到的网络模型进行特征提取，根据图片对应的识别信息逐条存储形成特征库F_gallery；

(s2)预处理待分析图片I_query，利用步骤(1)离线阶段训练得到的网络模型进行特征提取，最终的特征向量f_query用作后续步骤(s3)相似性度量的唯一有效信息；

(s3)计算步骤(s2)中提取的f_query与特征库F_gallery之间的特征距离，并进行归一化、排序操作，从中选出相似度大于0.7且排名在前M的图片作为行人重识别的检索结果，其中M的数值根据当前图片库内数量动态选定；

(s4)定期更新图片库及其对应的特征库，重点支持静态库以及由动态视频库检测采集到的动态库两种模态。

进一步地，所述的步骤(m3)包括如下步骤：

(m3.1)根据步骤(m2)提取的关节点信息P_Ii，去除label_i全为False，即检测关节点失败的样例；去除代表躯干部分关节点大部分均为False的样例；

(m3.2)步骤(m2)提取关节点信息符合本发明要求的样本参与训练，根据现有关节点信息P_Ii推测行人身高high_i；

(m3.3)根据左右耳朵、鼻子等关节点，计算头部区域信息

(m3.4)根据左右肩、左右胯相关关节点位置信息，计算躯干区域信息

(m3.5)根据腰部位置、脚踝、身高等信息，计算腿部区域信息由于检测得到的包围框经常不包含脚部，因此根据身高成比例向下放缩；

(m3.6)根据步骤(m3.3)到(m3.5)计算得到的局部区域位置信息产生兴趣区域，利用改进的兴趣区特征提取层，进入分支网络进行局部特征提取。

进一步地，所述的步骤(m4)包括如下步骤：

(m4.1)根据步骤(m3.1)筛选后，确定参与训练的样本分析其姿态朝向，没有左肩或者右肩的样本判定为侧向dir_i＝2；

(m4.2)左肩右肩均存在的样本，则计算左右肩向量

(m4.3)根据步骤(m4.2)得到的左右肩向量计算与竖直线的夹角dir_angle_Ii；

(m4.4)判断步骤(m4.3)计算得到的夹角dir_angle_Ii所属的角度范围，当夹角dir_angle_Ii在范围[260°，280°]内则方向标记为正向dir_i＝1，若非正向则判断夹角是否在范围[80°，100°]内，在该范围内这标记为背向dir_i＝3，如果不在上述两个范围内，则标记该样本为侧向dir_i＝2。

进一步地，所述的步骤(m5)包括如下步骤：

(m5.1)根据本发明提出的网络框架中的主干网络提取全局特征，标记为fglobal(I_i)；

(m5.2)连接步骤(m3.6)提取的三个局部特征flocal(I_i)，其分别被标记为fh(I_i)、ft(I_i)、fl(I_i)；

(m5.3)使用全连接层实现步骤(m5.1)提取的全局特征与步骤(m5.2)提取的局部特征f(I_i)。

进一步地，所述的步骤(m6)包括如下步骤：

(m6.1)计算多分类损失函数误差；

(m6.2)计算本发明的第一重三元组约束：

D_id(I_i ^a,I_i ^p,I_i ⁿ)＝d(f(I_i ^a)-f(I_i ^p))-d(f(I_i ^a)-f(I_i ⁿ))＜α

其中，I^a是数据集中任意一张基准行人图像，I_i ^p表示与基准行人代表同一人的另一张图像，即正样本，I_i ⁿ为其他人的图像，即负样本，该三元组输入经过网络计算后得到各自的特征向量{f(I_i ^a),f(I_i ^p),f(I_i ⁿ)}，d(f(I_i ^a)-f(I_i ^p))为基准图与正样本对之间的距离，d(f(I_i ^a)-f(I_i ⁿ))为基准图与负样本对之间的距离，α为三元组约束的阈值；

(m6.3)计算本发明的第二重五元组约束：

D_pose(I_i ^a,I_i ^ps,I_i ^pd)＝d(f(I_i ^a)-f(I_i ^ps))-d(f(I_i ^a)-f(I_i ^pd))＜β

其中，表示与姿势相同的正样本，表示与姿势不同的正样本，β为五元组二重约束的阈值。

进一步地，所述的步骤(m7)包括如下步骤：

(m7.1)根据步骤(m6)得到的多损失函数误差计算反向传播的联合误差值：

Loss₃(I,w)＝λ₁Loss₁(I,w)+λ₂Loss₂(I,w)

其中，Loss₁表示多分类损失函数，Loss₂表示五元组损失函数，Loss₃表示联合损失函数，λ₁和λ₂为平衡联合损失函数的权重值，λ为平衡三元组与五元组约束的权重值，w为网络参数，表示预测的概率，p_i是目标概率，N是行人种类数量，n是五元组数量。

(m7.2)分析步骤(m7.1)中误差权重参数λ₁和λ₂的选择，确定离线阶段使用的最佳损失函数分配权重。

进一步地，所述的步骤(s3)包括如下步骤：

(s3.1)根据当前图片库内数量动态选定M的数值；

(s3.2)依次计算步骤(s2)中提取的f_query与特征库F_gallery之间的特征距离；

(s3.3)将步骤(s3.2)计算得到的所有特征距离进行归一化、排序操作，从中选出相似度大于0.7且排名在前M的图片作为行人重识别的检索结果；

(s3.4)可视化步骤(s3.3)获得的行人重识别检索结果，对于静态图片库则显示I_query及排序后的I_results，对于动态视频库则根据I_results在数据库存储的相机ID、行人ID、包围框位置信息以及帧号时间等恢复出结果在视频内当时的真实情况。

进一步地，所述的步骤(s4)包括如下步骤：

(s4.1)设置定期更新的时间t；

(s4.2)在时间t范围内，对于静态图片库则不断的加入查询图片I_query的信息及特征；到达t时刻根据要求更换或者更新图片库，重新提取变更的图片特征，组建新的特征库；

(s4.3)在时间t范围内，对于动态视频库则不断加入检测到的新目标，并在数据库中存储相机ID、行人ID、包围框位置信息、帧号、时间、地点等世界信息；到达t时刻后则根据时间，清空当前库内的二分之一行人数据信息，然后逐帧加入新检测结果，同时提取其特征作为存入数据库的一条主属性。

本发明的原理在于：

本发明提出了一种利用人体姿态信息计算多种损失函数来学习特征的行人重识别方法。该发明的设计首先源于监控摄像头、卡口数量的增加以及存储能力的增强为行人大数据提供了资源保障。不同量级的行人数据为基于深度学习的行人重识别技术提供了良好的数据基础。其次，本发明考虑行人在监控视频内的呈现的规律，在预处理阶段对每张图片进行宽高比调整，以便在后续深度网络框架内提取特征时可以保有良好的空间信息特征。除此之外，本发明为了处理监控视频内背景嘈杂、频繁遮挡的情况，引入局部特征来弥补全局特征的不足。即引入关节点信息计算行人局部区域的位置与其相对于相机的朝向姿态。再根据局部位置信息提取人体的局部特征，与全局特征进行融合。最后本发明还考虑从训练策略上来提高深度学习网络模型的表述能力，利用朝向信息设计五元组损失函数，与交叉熵损失函数联合完成训练，从而在离线阶段获得了高效、鲁棒的特征提取模型。

面对监控视频的巨大数据量，人工完成行人重识别已经变得不太现实。自动化处理的行人重识别技术将推动视频分析、安防等诸多应用的发展。考虑到人工行人重识别效率低的主要原因在于待分析目标数量多，人脑内无法短时间内存储大量观看过的目标特征。为此本发明在获得了特征提取模型以后，设计了在线完成行人重识别的技术路线。这个过程中，首先要定时根据监控内容更新现有图片库，并预取其相关特征，以缩短检索时间。然后当获得待分析目标后，对其进行快速匹配，完成必要的行人重识别。

具体的，本发明一种利用姿态信息设计多损失函数的行人重识别方法，该方法分为离线和在线两个阶段。在离线阶段内，本发明首先提出一种保持行人宽高比的特征提取深度网络框架；其次引入关节点信息计算行人局部区域的位置与其相对于相机的朝向姿态；之后根据局部位置信息提取人体的局部特征，与全局特征进行融合；最后利用朝向信息设计五元组损失函数，并且与交叉熵损失函数联合训练。在线阶段内，本发明首先利用离线阶段训练获得的特征提取模型对预处理后的图片库进行特征提取，并存储；其次对待分析目标图片进行宽高比调整，调整后提取特征；针对提取的待分析目标特征，在图片库的存储特征内进行相似度度量，计算的相似性进行归一化排序，从中选择符合相似度条件并排名靠前的库内图片作为检索结果；最后整合匹配这些检索结果的相机、ID等信息，以可视化模式输出，同时存入查询库，为其他应用分析提供输入。除此之外，针对监控视频或者现有采集的行人数据来说，本发明所述的图片库及其特征需要进行定期更新，以保证获得最精准的行人重识别结果。

在离线阶段，具体步骤如下：

首先，本发明将所有图片(待分析图片、图片库)进行预处理，将其宽高比调整至1:2，在进入训练之前调整大小到107*219，以保证在下一步的特征提取阶段可以保留有效的空间信息，同时也起到了减少网络参数的作用。

其次，本发明提出的网络结构由下几个部组成：1个固定参数的关节点检测网络，1个主干网络，3个局部分支网络，3个融合特征的连接层以及两个损失层。关节点检测网络提供行人关节点信息。主干网络，分支网络以及连接层负责提取全局特征与局部特征，并将两者融合。损失层负责联合两种损失函数及进行度量学习。

其中，关节点检测网络主要提取人体的18个关节点，包括脖子、鼻子，以及左右肩、肘、腕、膝、踝、胯、肩、眼睛、耳朵，允许部分关节点丢失。得到各关节点坐标后，本发明利用其估计出行人的行人身高，以身高为辅助，通过各个区域关节坐标的最大值最小值计算区域边界，为后续网络提取局部特征提供位置信息。

与此同时，本发明还利用得到的关节点信息推测行人姿态朝向。对于关节点信息获取失败，或者没有躯干部分关节点的行人目标进行抛弃，不利用这些残次的样本进行训练，以免其污染特征提取模型。对于参与训练的样本则优先判断是否存在左肩/或右肩关节点，先锁定标准的侧向样本。然后计算左肩到右肩的方向向量，该向量与竖直线之间的夹角用作朝向判别的主要凭证。夹角在[80°,100°]范围内的标记为背向样本，夹角在[260°,280°]内的标记为正向样本。

再次，利用本发明设计的主干网络、分支网络以及局部区域信息提取行人重识别需要的全局特征和局部特征。其中主干网络结构，借鉴inception_v3的思想，但是与其不同支出在于本发明的结构内包含5种卷积模块，每一个模块都具有多个分支，每个分支是由多种尺度的卷积层以及池化层堆叠而成。这样的结构可以增加网络的宽度并且减少网络参数，同时也能增强对尺度的适应性。本发明的网络使用ReLU来引入非线性能力，并且在每个ReLU之前都使用批量正则化来加速收敛以及减缓参数分布变化的影响，在最后一个全连接层设置了50％的Dropout以防止过拟合。分支网络结构与主干网络共享conv5_x之前的参数。经过池化层加入位置信息后负责提取各自区域的局部特征。分支网络与主干网络结构相似，不同的是最后一个池化层和全连接层的输出数目少于主干网络，起到调节权重的作用。网络后端利用全连接层将局部特征与全局特征合并作为行人的特征向量。

最后，本发明根据长期实验观察得到行人相似度规律，即不同行人之间的特征距离大于相同行人之间的特征距离，同一个人不同姿态之间的特征距离亦大于同一个人相同姿态之间的特征距离。根据该规律，本发明设计了二重约束的五元组损失函数，并且提出使用该损失函数与多分类损失函数联合训练的策略。新的损失函数可以纠正网络认为与姿态相同负样本比姿态不同的正样本外观更相似的认知错误，从根本上使得网络能够学习到克服姿态变化的表述特征。而联合训练的策略，则可以在不改变网络结构的情况下，增加网络的表述能力，使得到的网络模型具备更好的迁移性，从而获得本发明所需的行人重识别特征提取网络模型。

离线阶段获得上述步骤得到的特征提取网络模型后，在线阶段进行行人重识别，具体步骤如下：

首先，预处理图片库的全部图片，调整至符合特征提取模型输入的统一大小，然后利用离线阶段训练获得的特征提取模型对预处理后的图片库进行特征提取，并根据其关键信息分条存储特征向量，形成特征库；

其次，对待分析目标图片进行预处理并提取具有表述能力的特征向量；

再次，针对提取的待分析目标特征向量，在存储的特征向量库内进行相似度度量。并对计算得到的相似性进行归一化排序，从中选择符合相似度条件并排名靠前的库内图片作为检索结果；

最后，整合匹配这些检索结果的相机、ID等信息，以可视化模式输出，同时存入查询库，为其他应用分析提供输入。除此之外，针对监控视频或者现有采集的行人数据来说，本发明所述的图片库及其特征向量库需要进行定期更新，以保证获得最精准的行人重识别结果。

本发明与现有技术相比的优势在于：

1、本发明提出了一个由主网络和三个子网络构成的深度神经网络框架，主网络用于提取全局特征，三个子网络利用关节点信息提取人体头部，躯干以及腿部的局部特征。最后将全局和局部特征融合以提高检索的准确率，并且有效抵抗监控视频内的频繁遮挡。

2、利用推测出的行人朝向信息设计五元组约束，增强度量学习能力，并且使用了联合分类损失和验证损失来训练网络模型的策略。确保属于同一个人的图像之间的特征距离小于属于不同人的图像之间的特征距离，同一人的相同姿态之间图像的特征距离要小于不同姿态图像之间的特征距离。从根本上克服非刚性行人目标姿态多变给行人重识别带来的困难。

3、本发明与检测、跟踪等常用视频分析模块相互分离。可作为独立模块集成到任意智能监控***内，为上层分析提供准确输入，使用方便，模型鲁棒。

附图说明

图1为本发明提出的利用姿态信息设计多损失函数的行人重识别方法的总体示意图；

图2为本发明利用姿态信息推测行人朝向、计算局部区域信息提取头部、躯干、腿部局部精细特征示意图；

图3为本发明提取关节点及局部区域位置信息与传统条带式局部区域划分的对比示例图，其中第一组为原图，第二组为本发明提取效果，第三组为条带式划分效果，对比第二组及第三组图片可以发现本发明的方法可以更有效的对齐行人目标局部区域，并且能够排除部分背景干扰；

图4为推测行人目标姿态朝向流程图；

图5为本发明利用关节点信息推测行人姿态朝向示例图，方法内普遍将其划分为侧面、正面、反面三种朝向；

图6为本发明设计五元组损失函数的原理示意图。

具体实施方式

下面结合附图和实施例对本发明具体步骤进行详细描述。

本发明提出了一种利用姿态信息设计多损失函数的行人重识别方法，首先结合图1总体示意图详细介绍本发明的行人重识别处理过程。本发明包括离线和在线两个阶段，其中离线阶段包括预处理、粗糙特征提取、精细特征提取、特征融合、五元组相似性度量、多类损失函数计算以及网络参数学习等部分；在线阶段则包括特征提取、相似性度量、图片库更新以及结果可视化四个部分。

阶段(1)离线阶段：训练学习提取特征的网络模型。

A.数据预处理的步骤为：注意到实际视频中，行人包围框多为矩形，且宽高比约为0.5。而现有大多数基于深度学习的行人重识别方法使用的网络输入多为方形，并不利于保持行人的空间特征。因此，本发明将网络的输入大小改为107x219，与行人图像实际宽高比相符，有利于有效特征提取，同时也起到了减少网络参数的效果。对于图像列表LI₁,I₂,…,I_n}内任意一张图片I_i均进行上述预处理。

B.粗糙特征提取的步骤为：本发明设计的网络架构内主要由主干网络、分支网络以及多损失函数层几个重要部分组成。主干网络及分支网络在Conv5_x之前的部分使用共享的网络参数，该部分主要负责提取图片的粗糙特征，这些特征中包含语义等信息，接近于全局特征，因此也是全局特征提取的基础特征。以图片I_i为例，该部分提取的特征图标记为是下一部分精细特征提取的输入。

C.精细特征提取的步骤为：在获得粗糙特征后，主干网络进一步提取精细特征，分支网络则根据图2所示的局部特征提取示意图完成局部精细特征的提取。具体流程如下：

1)检测行人关节点：如图2所示，对于预处理后的图片进行关节点检测。本发明主要提取人体的18个关节点(允许丢失)，包括脖子、鼻子，以及左右肩、肘、腕、膝、踝、胯、肩、眼睛、耳朵。关节点检测失败、没有获得躯干信息的样本不参与训练。符合条件的样本在得到各关节点坐标后，左右肩的位置信息可以作为2)行人姿态朝向推测的都主要依据，预测身高则可以作为3)局部区域信息提取的辅助。

2)推测行人姿态朝向：如图4所示，去除检测关节点失败以及没有躯干的样本后，观测左右肩是否存在，从而确定标准的侧向样本。对于左右肩均存在的样本进行肩部向量计算，得到的向量与竖直线进行夹角计算，根据夹角范围，判定样本具体为正向、背向还是侧向。本发明方法推测的行人姿态朝向示例图，如图5所示。

3)计算行人局部区域信息：传统条带式的局部区域划分不仅不能排除复杂背景的干扰，在面对图3这样的示例时，是无法实现局部特征区域对齐的，这种误差会驱使网络模型学习错误的特征。因此本发明在得到各关节点坐标后，先估计出行人的身高，以身高为辅助，通过各个区域关节坐标的最大值最小值计算区域边界，为后续网络提取局部特征提供位置信息。同样以图片I_i为例来解释本发明内的公式表达，三个局部区域信息分别表达为每个局部区域位置信息由四元组(xⁱ,yⁱ,wⁱ,hⁱ)组成，其中x,y,w,h分别表示区域左上角坐标(x,y)与该区域的长和高。

4)提取局部精细特征：在3)获得了局部区域信息之后，使用网络结构内的分支网络提取局部精细特征。该部分分支网络参数不共享。

D.特征融合方式如下：本发明实验分析了多种特征融合方式，重点对比了ElementWise、Concat两种方式。结果显示：符合本发明设计原理，全局特征与局部特征互补的Concat方式可以获得最为有效的特征向量。

E.五元组的设计与构成步骤如下：五元组损失函是由三元组损失函数加入姿态约束改进而来。常用的三元组损失函数数学表达为一个三元组{I_i ^a,I_i ^p,I_i ⁿ}，其中I^a是数据集中任意一张基准行人图像，I_i ^p表示与基准行人代表同一人的另一张图像，即正样本，I_i ⁿ为其他人的图像，即负样本。该三元组输入经过网络计算后得到各自的特征向量{f(I_i ^a),f(I_i ^p),f(I_i ⁿ)}，则有三元组约束：

D_id(I_i ^a,I_i ^p,I_i ⁿ)＝d(f(I_i ^a)-f(I_i ^p))-d(f(I_i ^a)-f(I_i ⁿ))＜α

其中，d(f(I_i ^a)-f(I_i ^p))为基准图与正样本对之间的距离，d(f(I_i ^a)-f(I_i ⁿ))为基准图与负样本对之间的距离，α为三元组约束的阈值。该不等式的意义是学习一种度量，在该距离空间中，同一个人之间的特征距离一定小于不同的人之间的特征距离。即同一人的图像特征比不同人之间的图像特征更相似。在此基础上，本发明引入姿态进行二重约束。根据C2)中获得的行人姿态朝向可知，本发明将样本分为了正向、侧向以及背向三类。新设计的五元组二重约束用公式表达则为：

D_pose(I_i ^a,I_i ^ps,I_i ^pd)＝d(f(I_i ^a)-f(I_i ^ps))-d(f(I_i ^a)-f(I_i ^pd))＜β

其中，表示与姿势相同的正样本，表示与姿势不同的正样本，β为五元组二重约束的阈值。该损失函数的目的学到一个度量，在该距离空间中，同一个人相同姿态下的图像特征的距离要小于同一个人不同姿态图像特征之间的距离。这样的约束保证姿态相同的正样本之间的距离更小，可以减轻姿态变化带来的影响。

本发明将原有的三元组约束作为第一重约束，设计改进的姿态约束作为第二重约束，两者结合作为五元组结构，计算其损失可实现验证性模型训练。损失函数计算方式如下：

F.多类损失函数计算与网络联合训练实施方案如下：本发明联合使用了两种损失函数，一种是softmax损失函数，侧重于对图像做分类。另一种是加入了姿态约束的五元组损失函数，侧重于验证两张图像是否为同一人。图6为本发明设计五元组损失函数的原理示意图。分类模型一般使用在网络总特征层之后使用一个输出为k的softmax层，其中k为训练集的类别数。分类网络的训练在于最小化交叉熵损失，也就是分类损失与上述步骤E)中描述的五元组损失函数一起，可以联合训练网络模型。联合后的损失函数计算方式为：

Loss₃(I,w)＝λ₁Loss₁(I,w)+λ₂Loss₂(I,w)

阶段(2)在线阶段：在行人数据库内进行指定行人重识别。

A.表述性特征提取：本发明利用离线阶段训练得到的特征提取网络提取待分析图片及现有行人图片库的表述性特征。同时在下一次更新前，逐条存储当前图片库对应的特征向量。

B.与行人图片库及特征库的相似性度量：对比分析欧式距离、余弦距离后，选择余弦距离作为标准度量方式。将待分析图片的特征向量与图片库的特性向量依次进行相似性度量。得到的相似性进行归一化、排序处理。相似性大于0.7以上，且排名前M的图片作为检索结果。其中M根据当前图片总数动态设定。

C.行人图片库的定期更新方式：针对静态图片库，则不断添加每次待分析的图片，并存储其特征向量。针对动态视频所产生的行人数据，则每隔30分钟更新一次检查所获得行人信息，并在下次更新前，不断加入判定为新人的行人目标，在***后来提取特征，以便获得待分析目标后在线完成行人重识别。

D.行人重识别结果可视化方案：本发明除了记录每次查询的结果、存入数据库以外。还以两种模态显示行人重识别结果，针对静态图片库，则显示待分析目标及不多于M张判定为同一行人的图片；针对动态视频，则首先锁定检索结果的图片，并根据其在数据库内存储的相机ID、行人ID、帧号、视频内位置等信息可视化到相应的视频画面内。这些存储的条目信息不仅可以用于可视化，还可以用于相机拓扑分析、视频内容分析等上层应用。

Claims (8)

1.一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：包括离线提取特征网络模型训练、在线行人重识别两部分主要内容；

步骤(1)、离线提取特征网络模型训练阶段：

(m1)对所有图片进行预处理，原始图片rI_i处理后用I_i表示；

(m2)针对每一张图片检测关节点信息，得到的18个关节点信息存在P_Ii＝{x₁，y₁，……，x₁₈，y₁₈}中，并有对应的布尔型数组label表示是否检测到了不同的关节点，label_i＝(Trueor False)；

(m3)根据步骤(m2)中提取的关节点信息，推测每一个行人的身高high_i、分别计算头部-躯干-腿部的局部区域信息

(m4)根据步骤(m2)提取的关节点信息，推测行人目标的姿态朝向，记为dir_i＝(1 or 2or 3)，其中等于1的时候表示正向样本，2表示侧向样本，3表示背向样本；

(m5)根据设计的主干网络提取全局特征，根据步骤(m3)提取的局部区域位置信息及分支网络结构提取局部特征，并将每张图片的全局特征与局部特征融合，共同形成表述性特征向量；

(m6)根据数据真实标签计算多分类损失函数以及本发明的第一重三元组，同时根据步骤(m4)推测的行人姿态朝向设计五元组并计算第二重五元组损失函数；

(m7)联合步骤(m6)计算的多种损失函数误差训练当前特征提取网络，并分析不同损失函数权重对网络的影响，选择最佳的权重λ₁和λ₂来完成联合训练；

步骤(2)、在线行人重识别阶段：

(s1)预处理图片库内所有图片I_gallery，并利用步骤(1)离线阶段训练得到的网络模型进行特征提取，根据图片对应的识别信息逐条存储形成特征库F_gallery；

(s2)预处理待分析图片I_query，利用步骤(1)离线阶段训练得到的网络模型进行特征提取，最终的特征向量f_query用作后续步骤(s3)相似性度量的唯一有效信息；

(s3)计算步骤(s2)中提取的f_query与特征库F_gallery之间的特征距离，并进行归一化、排序操作，从中选出相似度大于0.7且排名在前M的图片作为行人重识别的检索结果，其中M的数值根据当前图片库内数量动态选定；

(s4)定期更新图片库及其对应的特征库，重点支持静态库以及由动态视频库检测采集到的动态库两种模态。

2.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：所述的步骤(m3)包括如下步骤：

(m3.1)根据步骤(m2)提取的关节点信息P_Ii，去除label_i全为False，即检测关节点失败的样例；去除代表躯干部分关节点大部分均为False的样例；

(m3.2)步骤(m2)提取关节点信息符合本发明要求的样本参与训练，根据现有关节点信息P_Ii推测行人身高high_i；

(m3.3)根据左右耳朵、鼻子等关节点，计算头部区域信息

(m3.4)根据左右肩、左右胯相关关节点位置信息，计算躯干区域信息

(m3.5)根据腰部位置、脚踝、身高等信息，计算腿部区域信息由于检测得到的包围框经常不包含脚部，因此根据身高成比例向下放缩；

(m3.6)根据步骤(m3.3)到(m3.5)计算得到的局部区域位置信息产生兴趣区域，利用改进的兴趣区特征提取层，进入分支网络进行局部特征提取。

3.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：所述的步骤(m4)包括如下步骤：

(m4.1)根据步骤(m3.1)筛选后，确定参与训练的样本分析其姿态朝向，没有左肩或者右肩的样本判定为侧向dir_i＝2；

(m4.2)左肩右肩均存在的样本，则计算左右肩向量

(m4.3)根据步骤(m4.2)得到的左右肩向量计算与竖直线的夹角dir_angle_Ii；

(m4.4)判断步骤(m4.3)计算得到的夹角dir_angle_Ii所属的角度范围，当夹角dir_angle_Ii在范围[260°，280°]内则方向标记为正向dir_i＝1，若非正向则判断夹角是否在范围[80°，100°]内，在该范围内这标记为背向dir_i＝3，如果不在上述两个范围内，则标记该样本为侧向dir_i＝2。

4.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：所述的步骤(m5)包括如下步骤：

(m5.1)根据本发明提出的网络框架中的主干网络提取全局特征，标记为fglobal(I_i)；

(m5.2)连接步骤(m3.6)提取的三个局部特征flocal(I_i)，其分别被标记为fh(I_i)、ft(I_i)、fl(I_i)；

(m5.3)使用全连接层实现步骤(m5.1)提取的全局特征与步骤(m5.2)提取的局部特征f(I_i)。

5.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：所述的步骤(m6)包括如下步骤：

(m6.1)计算多分类损失函数误差；

(m6.2)计算本发明的第一重三元组约束：

D_id(I_i ^a,I_i ^p,I_i ⁿ)＝d(f(I_i ^a)-f(I_i ^p))-d(f(I_i ^a)-f(I_i ⁿ))＜α

其中，I^a是数据集中任意一张基准行人图像，I_i ^p表示与基准行人代表同一人的另一张图像，即正样本，I_i ⁿ为其他人的图像，即负样本，该三元组输入经过网络计算后得到各自的特征向量{f(I_i ^a),f(I_i ^p),f(I_i ⁿ)}，d(f(I_i ^a)-f(I_i ^p))为基准图与正样本对之间的距离，d(f(I_i ^a)-f(I_i ⁿ))为基准图与负样本对之间的距离，α为三元组约束的阈值；

(m6.3)计算本发明的第二重五元组约束：

D_pose(I_i ^a,I_i ^ps,I_i ^pd)＝d(f(I_i ^a)-f(I_i ^ps))-d(f(I_i ^a)-f(I_i ^pd))＜β

其中，表示与姿势相同的正样本，表示与姿势不同的正样本，β为五元组二重约束的阈值。

6.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于所述的步骤(m7)包括如下步骤：

(m7.1)根据步骤(m6)得到的多损失函数误差计算反向传播的联合误差值：

<mrow> <msub> <mi>Loss</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mo>-</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mi>log</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>p</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>Loss</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <mi>w</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>max</mi> <mo>{</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> </msub> <mo>(</mo> <mrow> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mi>a</mi> </msup> <mo>,</mo> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mi>b</mi> </msup> <mo>,</mo> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mi>n</mi> </msup> </mrow> <mo>)</mo> <mo>,</mo> <mi>&amp;alpha;</mi> <mo>}</mo> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>max</mi> <mo>{</mo> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mi>o</mi> <mi>s</mi> <mi>e</mi> </mrow> </msub> <mo>(</mo> <mrow> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mi>a</mi> </msup> <mo>,</mo> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mrow> <mi>p</mi> <mi>s</mi> </mrow> </msup> <mo>,</mo> <msup> <msub> <mi>I</mi> <mi>i</mi> </msub> <mrow> <mi>p</mi> <mi>d</mi> </mrow> </msup> </mrow> <mo>)</mo> <mo>,</mo> <mi>&amp;beta;</mi> <mo>}</mo> <mo>)</mo> </mrow> <mo>;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>

Loss₃(I,w)＝λ₁Loss₁(I,w)+λ₂Loss₂(I,w)；

其中，Loss₁表示多分类损失函数，Loss₂表示五元组损失函数，Loss₃表示联合损失函数，λ₁和λ₂为平衡联合损失函数的权重值，λ为平衡三元组与五元组约束的权重值，w网络参数，表示预测的概率，p_i是目标概率，N是行人种类数，n是五元组数量；

(m7.2)分析步骤(m7.1)中误差权重参数λ₁和λ₂选择，确定离线阶段使用的最佳损失函数分配权重。

7.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：所述的步骤(s3)包括如下步骤：

(s3.1)根据当前图片库内数量动态选定M的数值；

(s3.2)依次计算步骤(s2)中提取的f_query与特征库F_gallery之间的特征距离；

(s3.3)将步骤(s3.2)计算得到的所有特征距离进行归一化、排序操作，从中选出相似度大于0.7且排名在前M的图片作为行人重识别的检索结果；

(s3.4)可视化步骤(s3.3)获得的行人重识别检索结果，对于静态图片库则显示I_query及排序后的I_results，对于动态视频库则根据I_results在数据库存储的相机ID、行人ID、包围框位置信息以及帧号时间等恢复出结果在视频内当时的真实情况。

8.根据权利要求1所述的一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：所述的步骤(s4)包括如下步骤：

(s4.1)设置定期更新的时间t；

(s4.2)在时间t范围内，对于静态图片库则不断的加入查询图片I_query的信息及特征；到达t时刻根据要求更换或者更新图片库，重新提取变更的图片特征，组建新的特征库；

(s4.3)在时间t范围内，对于动态视频库则不断加入检测到的新目标，并在数据库中存储相机ID、行人ID、包围框位置信息、帧号、时间、地点等世界信息；到达t时刻后则根据时间，清空当前库内的二分之一行人数据信息，然后逐帧加入新检测结果，同时提取其特征作为存入数据库的一条主属性。