CN107145900B - 基于一致性约束特征学习的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于一致性约束特征学习的行人再识别方法，包括：S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络；S2：从数据库当中采样出一个图片子集，使用卷积神经网络提取特征信息，根据特征信息计算得到所有行人的相似度矩阵；S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配；S4：根据所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差求出梯度反传，来根据梯度反转训练卷积神经网络；S5：重复步骤S2‑S4，直至满足用户需求。本发明具有如下优点：适应大型摄像机网络下进行匹配的应用场景，消除互相矛盾的匹配误差。

Description

基于一致性约束特征学习的行人再识别方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于一致性约束特征学习的行人再识别方法。

背景技术

行人再识别(Person Re-Identification)就是在不同的摄像机的视角下对采集的行人进行匹配，判断不同的图片是否属于同一个人。行人再识别在监控安防等领域有广泛的应用和广阔的前景，但是由于采集到的行人图片在尺寸、光照、视角、姿态等方面都有很大的变化，所以尽管近几年很多研究者参与到相关的研究当中，也一直没有被很好地解决。

现阶段的行人再识别方式主要都是基于对对匹配(pairwise re-identification)，也就是每次只考虑两张采集的图片是否属于同一个人，得到一个相似度的数值。当前的方法主要可以分为两类：基于图片的行人再识别和基于视频的行人再识别。基于图片的方法着重于寻找一种有足够分辨能力的特征和一种更优的度量方式来提升行人再识别***的性能。行人再识别常用的特征有颜色直方图特征，颜色描述子，局部二值模式(LBP)，尺寸不变性特征变换和尺寸不变局部三值模式等等，这些特征在提升识别的准确率方面有着非常重要的作用。另一方面，度量学***方辨别分析(XQDA)，概率相关距离比较(PRDC)，局部fisher辨别分析(LFDA)及其核函数变换(k-LFDA)等方法。基于视频的行人再识别方法主要关注怎样对行人视频序列进行有效的建模，并且提出新的匹配技巧来减小摄像机镜头畸变和光照变化带来的影响。代表性的方法有条件随机场、时空特征描述子，视频排序函数和顶推受限匹配等等。

近年来深度学习在很多计算机视觉领域都取得了重大的突破，比如图片分类、物体检测、人脸识别等方向，并且也有越来越多的方法将深度学习应用到行人再识别当中，取得了很好的结果。相关技术中提出了以下方式：

一种孪生神经网络来进行行人再识别，使用了三组孪生卷积神经网络(S-CNN)来进行深度特征学习；

一种基于交叉输入邻域差值的方法来提取跨摄像机视角的特征关系；一种深度滤波匹配神经网络(FPNN)来同时解决对齐误差、光度和摄影几何变换、摄像机畸变和背景区域干扰等等问题；

一种同时包含共享网络和两个非共享子网络的结构，可以同时提取单张图片的特征和跨图片的特征表达；

一种带阀门的孪生卷积升级网络结构，通过比较不同图片对之间的中层特征来选择性地对某些公共局部特征进行着重比较。

以上的方法都是基于一对摄像机进行匹配，这和现实生活当中由几百个摄像机组成的摄像机网络环境相比有比较大的不符。同时所有的方法都采用了pairwise的比较方式，每次只考虑两张图片，这样没有很好地利用摄像机下的结构特征来帮助匹配，会出现互相冲突的匹配情况，比如图1当中就是一个例子，其中行人P1与P2、P1和P3被认为是同一个人，而P2和P3被认为是不同的人，导致行人识别精度低。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种行人识别精度高的基于一致性约束特征学习的行人再识别方法，适应大型摄像机网络下进行匹配的应用场景，消除互相矛盾的匹配误差。

为了实现上述目的，本发明的实施例公开了一种基于一致性约束特征学习的行人再识别方法，包括以下步骤：S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络，其中，所述摄像头网络构建多个相机对；S2：从数据库当中采样出一个图片子集，使用所述卷积神经网络从所述图片子集中提取行人的特征信息，对每个相机对构建相似度矩阵和关系矩阵，所述相似度矩阵中每一个元素记录了相应摄像机对内两个人的相似度，所述关系矩阵中每一个元素用于表示相应摄像机对内两个人是否为同一个人，根据所有相机对对应的相似度矩阵得到所有行人的相似度矩阵，并根据所有相机对对应的关系矩阵得到所有行人的关系矩阵；S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配，其中，所述所有行人的关系矩阵通过二值表示是否为同一个行人，所述预设梯度下降算法中通过二值约束、行列约束和三角约束得到所述所有行人的关系矩阵的最优匹配；S4：根据所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差求出梯度反传，来根据所述梯度反转训练所述卷积神经网络；S5：重复步骤S2-S4，直至满足用户需求。

进一步地，使用DPM(可变部分模型)从所述行人图片中得到行人信息。

进一步地，步骤S3中还包括：

引入预设损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差。

进一步地，步骤S3进一步包括：

提供全局最优匹配目标和约束条件，得到以下公式：

其中，C表示相似度矩阵，H表示关系矩阵，表示摄像头a中第i个人和摄像机b中第j个人的相似度，表示摄像头a中第i个人和摄像头b中第j个人是否是同一个人，1或者0表示是或者不是同一个人，m表示摄像机数目，n表示行人总数；

关系矩阵H的二值约束如下：

关系矩阵H的行列约束如下：

其中

e＝[1，1，…，1]T

三角约束如下：

后将全局最大目标函数和约束函数结合得到以下公式：

其中，引入损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差：

以所述预设损失函数作为监督信号，进行反向传播，使用梯度下降方法求解，具体的直接导数如下：

其中x代表提取的特征。

根据本发明实施例的基于一致性约束特征学习的行人再识别方法，首先获得摄像头拍摄到的图片，然后用现有的方法将行人框出。使用神经网络对行人图片进行特征提取，对两个摄像头之间的所有行人建立相似度矩阵，然后再使用本发明中的梯度下降算法求解最优无冲突匹配。实验结果证明，该方法极大得提高了性能。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是相关技术中行人再识别的示意图；

图2是本发明实施例的基于一致性约束特征学习的行人再识别方法的流程图；

图3是本发明基于一致性约束特征学习的行人再识别方法一个示例的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述本发明。

图2是本发明一个实施例的基于一致性约束特征学习的行人再识别方法。如图2所示，本发明实施例的基于一致性约束特征学习的行人再识别方法，包括以下步骤：

S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络，其中，摄像头网络构建多个相机对。

在本发明的一个实施例中，使用DPM(可变部分模型)从行人图片中得到行人信息。

S2：从数据库当中采样出一个图片子集，使用卷积神经网络提取特征信息，根据特征信息计算得到所有行人的相似度矩阵。

S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配，其中，所有行人的关系矩阵通过二值表示是否为同一个行人，预设梯度下降算法中通过二值约束、行列约束和三角约束得到所有行人的关系矩阵的最优匹配；

在本发明的一个实施例中，步骤S3中还包括：

引入预设损失函数，以缩短所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差。

在本发明的一个实施例中，步骤S3进一步包括：

提供全局最优匹配目标和约束条件，得到以下公式：

其中，C表示相似度矩阵，H表示关系矩阵，表示摄像头a中第i个人和摄像机b中第j个人的相似度，表示摄像头a中第i个人和摄像头b中第j个人是否是同一个人，1或者0表示是或者不是同一个人，m表示摄像机数目，n表示行人总数；

关系矩阵H的二值约束如下：

关系矩阵H的行列约束如下：

其中

e＝[1，1，…，1]^T

三角约束如下：

后将全局最大目标函数和约束函数结合得到以下公式：

其中，引入损失函数，以缩短所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差：

以预设损失函数作为监督信号，进行反向传播，使用梯度下降方法求解，具体的直接导数如下：

其中x代表提取的特征。

S4：根据所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差求出梯度反传，来根据梯度反转训练卷积神经网络；

S5：重复步骤S2-S4，直至满足用户需求。

为使本领域人员进一步理解本发明，将通过以下实施例进行详细说明。

图3是本发明基于一致性约束特征学习的行人再识别方法一个示例的流程图。如图3所示，对于一个有m个摄像头的网络，一共有m(m-1)/2个可能的相机对，对于每个相机对构建两个矩阵：相似度矩阵C和关系矩阵H。相似度矩阵C的每一个元素记录了相应摄像机对内两个人的相似度，相似度为一个0-1之间的数值，用来记录摄像机a中第i个人和摄像机b中第j个人的相似度；关系矩阵H的每一个元素是1或者0，代表是或者不是同一个人，用来记录摄像头a中第i个人和摄像头b中第j个人是否是同一个人。

为了达到整体最优的匹配效果，本发明不能像其他的方法一样仅仅考虑两个图片之间的相似度，而需要同时考虑全局的相似度，希望让全局的相似度最大。显示场景中的行人匹配时，通常不同摄像头会采集到不同的人，对于同一个人的采集仅有一部分相同。假设每个相机内的行人都是相同的。在这种情况下，为了保持结果的一致性，H矩阵需要有一些约束条件，比如H的每一个元素只能是0或者1，并且每一行、每一列有且仅有一个1，其余都为0，同时还要考虑一个环路的约束。如果认为P1和P2、P2和P3、P3和P4、P4和P5都是同一个人，为了保持识别的一致性，也应该认为P1和P5是同一个人。这样的环路约束可以分解为若干个三角形的约束，并且很容易证明只要所有的三角形约束满足，那么这样的环路约束也便满足。总结以上的全局最优匹配目标和约束条件，得到以下公式：

在给定C矩阵的情况下来求解H矩阵的方法有很多，比如采用的二值规划方法。但是这样的方法是NP难的，当摄像头数目和人数上升之后，复杂度很快过于高而不可解。为了解决这个问题，本发明提出了一种使用梯度下降法来求解最优匹配矩阵H的方法。虽然H是二值的，但是为了梯度下降求解，首先将其连续化，并将每一个元素初始化为1/n(n为人数)，再施加以下目标函数使之收敛到最优匹配结果。

第一项是二值约束，希望H矩阵尽量是二值的，如下：

第二项是行列约束，希望H的每一行和每一列均只有一个1，其余是0，于是提出以下目标函数来保证每一个行的和为1：

其中

e＝[1，1，…，1]^T

二值约束和行列约束一起保证了H的每一行和每一列均只有一个1，其余为0。

为了保证环路约束，将环路拆解为三角形，提出三角约束：

最后将全局最大目标函数和约束函数结合得到以下公式：

然后希望求解得到的最优匹配H和真正的结果H*尽量接近，引入损失函数：

以此作为监督信号，进行反向传播，使用梯度下降方法求解。具体的直接导数如下：

其中x代表了提取的特征。

对于不是所有人都出现在所有摄像头下的情况，对目标函数进行一些修改，如下：

此处省略梯度的求解。

另外，本发明实施例的基于一致性约束特征学习的行人再识别方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (2)

1.一种基于一致性约束特征学习的行人再识别方法，其特征在于，包括以下步骤：

S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络，其中，所述摄像头网络构建多个相机对；

S2：从数据库当中采样出一个图片子集，使用所述卷积神经网络从所述图片子集中提取行人的特征信息，对每个相机对构建相似度矩阵和关系矩阵，所述相似度矩阵中每一个元素记录了相应摄像机对内两个人的相似度，所述关系矩阵中每一个元素用于表示相应摄像机对内两个人是否为同一个人，根据所有相机对对应的相似度矩阵得到所有行人的相似度矩阵，并根据所有相机对对应的关系矩阵得到所有行人的关系矩阵；

S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配，其中，所述所有行人的关系矩阵通过二值表示是否为同一个行人，所述预设梯度下降算法中通过二值约束、行列约束和三角约束得到所述所有行人的关系矩阵的最优匹配，其中，提供全局最优匹配目标和约束条件，得到以下公式：

其中，C表示相似度矩阵，H表示关系矩阵，表示摄像头a中第i个人和摄像机b中第j个人的相似度，表示摄像头a中第i个人和摄像头b中第j个人是否是同一个人，1或者0表示是或者不是同一个人，m表示摄像机数目，n表示行人总数；

关系矩阵H的二值约束如下：

关系矩阵H的行列约束如下：

其中

e＝[1，1，…，1]^T

三角约束如下：

后将全局最大目标函数和约束函数结合得到以下公式：

其中，引入损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差：

以所述预设损失函数作为监督信号，进行反向传播，使用梯度下降方法求解，具体的直接导数如下：

其中x代表提取的特征；

S4：根据所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差求出梯度反传，来根据所述梯度反转训练所述卷积神经网络；

S5：重复步骤S2-S4，直至满足用户需求。

2.根据权利要求1所述的基于一致性约束特征学习的行人再识别方法，其特征在于，使用可变部分模型从所述行人图片中得到行人信息。