CN107122795B - 一种基于核化特征和随机子空间集成的行人再辨识方法 - Google Patents

Abstract

本发明涉及一种基于核化特征和随机子空间集成的行人再辨识方法，包括以下步骤：S1，获取行人图像的训练样本集和测试样本集，确定两个样本间的核化函数；S2，分别将两个样本集的原始特征转化为核化特征；S3，在训练样本集的核化特征空间中，随机选取多个不同的子空间，分别计算不同和相同行人图像对的核化特征差值的协方差矩阵及其逆矩阵，得到图像对的核化特征差值的分布函数；S4，分别在各子空间下，计算样本对为相同行人的概率和为不同行人的概率，将两个概率的比值作为样本间的距离；S5，对距离进行集成，得到各样本对间的最终距离。与现有技术相比，本发明具有良好的行人再辨识能力，适用于各种不同的特征，具有较强的鲁棒性。

Description

一种基于核化特征和随机子空间集成的行人再辨识方法

技术领域

本发明涉及监控视频智能分析中的特征提取和距离度量学习方法，尤其是涉及一种基于核化特征和随机子空间集成的行人再辨识方法。

背景技术

行人再辨识是指在一个多摄像机组成的***中，对不同摄像机视角下的行人图像进行匹配的问题。它对于行人身份、行为等不同方面的分析提供了关键性帮助，并发展成为智能视频监控领域的关键组成部分。

行人再辨识领域中主要的方法可以分为以下两类：1)基于特征表示的行人再辨识方法；2)基于度量学习的行人再辨识方法。

在基于特征表示的行人再辨识方法中，低层视觉特征是最常用的特征。常用的低层视觉特征有颜色直方图、纹理等，具体描述如下：颜色直方图通过统计图像上颜色分布来描述整张图像或者其中一个小区域的颜色分布特征。它对于视角变化较为鲁棒，但容易受光照等亮度变换的影响，因此它通常在特定的彩色空间上提取。纹理特征描述的整张图像或者其中一个小区域的结构信息，对颜色直方图特征描述的颜色信息是个很好的补充。大部分行人再辨识算法都基于底层视觉特征实现的，然而当人类自身在进行行人再辨识任务时，往往不是完全通过底层视觉特征，而是更多通过具有语义的属性特征来判断两张图像是否属于同一行人。比如：发型，恤的类型，外套的类型，鞋子等信息。与底层视觉特征相比，基于语义属性特征的方法具有天然的优势：语义属性对于不同监控视频下的行人外貌特征差异更为鲁棒，同一个行人在不同监控视频下，其语义属性的描述通常是不变的；语义属性和人类的理解更为接近，因此，基于语义属性的特征方法得到的结果更符合人的需求；基于语义属性的方法更方便人的交互。

在特征表示方法之后，如何度量不同行人图像的距离也是行人再辨识领域的关键问题之一。基于特征的方法在计算特征向量相似性时，通常采用欧式距离、余弦距离和测地距离等经典的距离函数。这些经典的距离函数未考虑样本的特性因此性能往往不好。近年来，大量文献采用距离测度的方法，通过对标注样本的训练，得到一个更符合样本特性的距离函数，从而提高性能。这些方法通过学习一个马氏形式的距离函数来实现。其中基于简单而直接策略(KISS)的行人再辨识方法在性能上处于前列。然而，这种方法是建立在样本分布服从高斯分布的理论假设基础之上，但现实中的样本不仅不会完美地服从高斯分布，甚至有可能严重地偏离，从而导致性能下降。另外，在实际情况中，样本规模往往远小于特征维数，从而导致度量学习中马氏距离的计算变得困难甚至不可解。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于核化特征和随机子空间集成的行人再辨识方法，使提取的特征更加近似地服从高斯分布能调和样本规模与特征维数的矛盾，避免SSS(小规模样本)问题，从而提升性能。

本发明的目的可以通过以下技术方案来实现：

一种基于核化特征和随机子空间集成的行人再辨识方法，包括以下步骤：

S1，获取行人图像的训练样本集和测试样本集，确定两个样本间的核化函数，核化函数的输出值为一维实数，在每个样本集中，同一个行人具有多个图像；在训练样本集中，每个行人与其多幅图像的对应关系是已知的，在测试样本集中，是未知的；

S2，分别将两个样本集的原始特征转化为核化特征，核化特征的维度均为训练样本集中的样本个数；

S3，在训练样本集的核化特征空间中，随机选取多个不同的子空间，分别在各子空间下，计算不同行人图像对的核化特征差值的协方差矩阵及其逆矩阵，计算相同行人图像对的核化特征差值的协方差矩阵及其逆矩阵，得到图像对的核化特征差值的分布函数；使用训练样本的目的是通过训练样本学习出一个合适的分布函数；

S4，分别在各子空间下(此处子空间即步骤S3中选取的子空间)，计算测试样本集中样本对的核化特征的差值，根据差值协方差矩阵及其逆矩阵和分布函数，计算样本对为相同行人的概率和为不同行人的概率，并将两个概率的比值作为两个样本间的距离；

S5，对各不同子空间中计算出的距离进行集成，得到测试样本集中各样本对间的最终距离，用于行人辨识，最终距离越小，样本对为相同行人的可能性越高。如此可辨识出测试样本集中属于同一个行人的图像。

所述的步骤S1中，核化函数为高斯核函数，步骤S3得到的分布函数为高斯分布函数。

所述的步骤S1中，核化函数为k(x_i,x_j)，

其中，σ＝1，x_i、x_j分别表示第i、j个训练样本。

所述的步骤S2中，原始特征转化为核化特征的具体过程包括：

将训练集X转化为核化特征

其中，m为训练集样本个数，X∈R^d×m，d为样本特征维度，

将测试集Z转换为核化特征

其中，n为测试集样本个数，

所述的步骤S3中，不同行人图像对的核化特征差值的协方差Σ₀计算式为：

其中，y_ij＝0代表所有的不属于同一行人的样本对，N₀为符合该条件的样本总数；

相同行人图像对的核化特征差值的协方差矩阵Σ₁计算式为：

其中，y_ij＝1代表所有的不属于同一行人的样本对，N₁为符合该条件的样本总数。

所述的步骤S4中，两个样本间的距离计算式为：

与现有技术相比，本发明具有以下优点：

(1)将原始特征转化为核化特征，特征对之间的差异分布将更近似服从高斯分布，这是基于简单而直接策略的距离度量学习的基础理论假设；

(2)在非线性空间中，核化特征往往具有更强的辨识能力；

(3)将复杂的特征向量投影到多个维度较小的子空间中分别计算距离，用随机选取的子空间投影的方式代替传统的距离计算方式，能使算法性能有较明显的提升，优化了样本距离计算的过程，节省了矩阵运算的开销；

(4)随机选取的若干子空间维度数量远远小于样本规模，调和了现实应用中样本规模远远小于特征维度数的矛盾，进而使得距离的计算更加准确，高效。

附图说明

图1为本发明方法的流程图；

图2(a)-2(d)为在使用本实施例方法前后的样本对间特征差值的概率分布图，其中：2(a)为原始特征下同一行人样本对的差异分布；2(b)为原始特征下不同行人样本对的差异分布；2(c)为核化特征下同一行人样本对的差异分布；2(d)为核化特征下不同行人样本对的差异分布。

图3(a)、3(b)为本实施例方法在使用不同参数和不同特征的情况下在VIPeR(P＝316)行人再辨识公开数据集上的CMC曲线，其中：3(a)为LOMO特征下使用不同参数的CMC曲线；3(b)为kCCA特征下使用不同参数的CMC曲线。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

一种基于核化特征和随机子空间集成的行人再辨识方法，包括以下步骤：

步骤一：将原始特征转化为核化特征表示，具体描述如下：

获取行人图像的训练集X∈R^d×m和测试集Z∈R^d×n，其中样本特征维度为d，训练集样本个数为m，测试集样本个数为n，并用x_i表示第i个训练样本，用z_i表示第i个测试样本。使用核化函数

将训练集X转换为核化特征

将测试集Z转换为核化特征

其中σ＝1。具体的转换过程可表示为

步骤二：在核化特征空间中，随机选取L个不同的子空间。具体描述如下：完成步骤一后，核化特征空间的维度和训练集的样本数相同，即m维。在这m维中随机选取L个不同的子空间D_k(k＝1,2,...,L)，子空间的维度为

步骤三：分别在不同的子空间下，计算不同行人图像对间的特征差值的协方差矩阵Σ₀，并求出逆矩阵

计算相同行人图像对间的特征差值的协方差矩阵Σ₁，并求出逆矩阵

具体描述如下：分别在不同的子空间下,计算不同行人图像对间的特征差值的协方差矩阵Σ₀，具体计算方式为

其中y_ij＝0代表所有的不属于同一行人的样本对，N₀为符合该条件的样本总数。计算相同行人图像对间的特征差值的协方差矩阵协方差Σ₁，Σ₁的具体计算方式为

其中y_ij＝1代表所有的属于相同行人的样本对，N₁为符合该条件的样本总数。

步骤四：分别在不同的子空间下，基于高斯分布函数和两个逆矩阵

计算两个特征的差值属于相同行人的概率和两个特征的差值属于不同行人的概率，并把两个概率的比值看作样本间的距离，具体描述如下：用

表示子空间下测试样本

和

的差值，用H₀表示第i个测试样本和第j个测试样本属于不同行人的假设，用H₁表示第i个测试样本和第j个测试样本属于相同行人的假设。当样本对间的差值服从高斯分布时，可以分别得到两个假设条件下差值为

的概率

用

表示

服从两个假设的概率的比值的对数，可得

根据贝叶斯公式，式(5)可转换成

即

除去常数，可得在第k个子空间下第i个测试样本和第j个测试样本间的距离，表示为

步骤五：对在L个不同子空间中计算出的距离进行集成，得到最终距离，具体描述如下：对于步骤四中得到的L个距离，采用加权平均法对距离进行集成，最终的距离公式可以表示为：

如图1所示，是本实施例的流程图，具体实施方式如下：

1)确定核函数；

2)将训练样本的原始特征转换为核化特征；

3)将测试样本的原始特征转换为核化特征；

4)为了判断z_i和z_j是否属于同一行人，用H₀表示它们不相似，即不属于同一行人，用H₁表示它们相似，即属于同一行人；

5)在核化特征空间中随机选取L个子空间D_k(k＝1,2,...,L)；

6)分别在不同的子空间中，计算不同行人图像对间的特征差值的协方差矩阵Σ₀，并求出逆矩阵

7)分别在不同的子空间中，计算相同行人图像对间的特征差值的协方差矩阵Σ₁，并求出逆矩阵

8)分别在不同的子空间中，计算特征差值

服从两种假设的概率分布函数，并将概率比值的对数函数

作为样本间的距离；

9)分别在不同的子空间中，将概率比值距离转化为马氏距离d_k(z_i,z_j)；

10)集成在L个子空间的中计算得到的距离，得到最终的样本距离。

图2(a)-2(d)为在使用本实施例方法前后的样本对间特征差值的概率分布图，柱状图为实际的概率分布，线性图为根据数据方差绘制的高斯分布曲线，比较的四个原始特征分别为LOMO、kCCA、SCNCD、ELF18，它们均是行人再辨识方法中应用较为广泛的特征，其中：2(a)为原始特征下同一行人样本对的差异分布；2(b)为原始特征下不同行人样本对的差异分布；2(c)为核化特征下同一行人样本对的差异分布；2(d)为核化特征下不同行人样本对的差异分布。

图3(a)、3(b)为本实施例方法在使用不同参数和不同特征的情况下在VIPeR(P＝316)行人再辨识公开数据集上的rank-1匹配率，并与传统的正则化方法做了比较。其中：3(a)为LOMO特征下使用不同参数的rank-1匹配率；3(b)为kCCA特征下使用不同参数的rank-1匹配率。

表1

表1为本实施例方法同其它基于度量学习算法在VIPeR(P＝316)行人再辨识公开数据集上性能比较。

表2

表2为本实施例方法同其它基于度量学习算法在PRID 450S(P＝225)行人再辨识公开数据集上性能比较。

表3

	KRKISS	NFST	MLAPG	XQDA	MFA	kLFDA	KISS	LFDA
									时间	5.04	2.48	40.9	3.86	2.58	2.74	7.41	229.3

表3为本实施例方法同其它基于度量学习算法的训练时间开销比较。

Claims (6)

1.一种基于核化特征和随机子空间集成的行人再辨识方法，其特征在于，包括以下步骤：

S1，获取行人图像的训练样本集和测试样本集，确定两个样本间的核化函数，在每个样本集中，同一个行人具有多个图像；

S2，分别将两个样本集的原始特征转化为核化特征，核化特征的维度均为训练样本集中的样本个数；

S3，在训练样本集的核化特征空间中，随机选取多个不同的子空间，分别在各子空间下，计算不同行人图像对的核化特征差值的协方差矩阵及其逆矩阵，计算相同行人图像对的核化特征差值的协方差矩阵及其逆矩阵，得到图像对的核化特征差值的分布函数；

S4，分别在各子空间下，计算测试样本集中样本对的核化特征的差值，根据差值协方差矩阵及其逆矩阵和分布函数，计算样本对为相同行人的概率和为不同行人的概率，并将两个概率的比值作为两个样本间的距离；

S5，对各不同子空间中计算出的距离进行集成，得到测试样本集中各样本对间的最终距离，用于行人辨识，最终距离越小，样本对为相同行人的可能性越高。

2.根据权利要求1所述的一种基于核化特征和随机子空间集成的行人再辨识方法，其特征在于，所述的步骤S1中，核化函数为高斯核函数，步骤S3得到的分布函数为高斯分布函数。

3.根据权利要求1或2所述的一种基于核化特征和随机子空间集成的行人再辨识方法，其特征在于，所述的步骤S1中，核化函数为k(x_i,x_j)，

其中，σ＝1，x_i、x_j分别表示第i、j个训练样本。

4.根据权利要求3所述的一种基于核化特征和随机子空间集成的行人再辨识方法，其特征在于，所述的步骤S2中，原始特征转化为核化特征的具体过程包括：

将训练集X转化为核化特征

其中，m为训练集样本个数，X∈R^d×m，d为样本特征维度，

将测试集Z转换为核化特征

其中，n为测试集样本个数，

5.根据权利要求4所述的一种基于核化特征和随机子空间集成的行人再辨识方法，其特征在于，所述的步骤S3中，不同行人图像对的核化特征差值的协方差矩阵Σ₀计算式为：

其中，y_ij＝0代表所有的不属于同一行人的样本对，N₀为不属于同一行人的样本对的总数；

相同行人图像对的核化特征差值的协方差矩阵Σ₁计算式为：

其中，y_ij＝1代表所有的属于同一行人的样本对，N₁为属于同一行人的样本对的总数。

6.根据权利要求5所述的一种基于核化特征和随机子空间集成的行人再辨识方法，其特征在于，所述的步骤S4中，两个样本间的距离计算式为：

其中，

为相同行人图像对的核化特征差值的协方差矩阵Σ₁的逆矩阵，

为不同行人图像对的核化特征差值的协方差矩阵Σ₀的逆矩阵。

Images