CN110717402B - 一种基于层级优化度量学习的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于层级优化度量学习的行人再识别方法，属于行人再识别领域。本发明提出层次优化策略，利用批量梯度下降法优化深度神经网络参数，通过数学上的转换实现映射矩阵凸优化。分级优化模式能够有效的实现深度度量学习与传统度量学习优势互补，进而提升算法性能，提升了行人识别的性能。提出构建强样本约束，即只利用距离最远的同标签样本与距离最近的异标签样本来构建样本约束，有效减少样本约束的数量，保证每个样本约束的有效性，实现模型快速优化。提出新正则项，通过对参数向量求余弦值来衡量参数向量的差异性，给出的正则形式为参数向量的内积与其范数归一损失的求和，能够在训练过程中避免参数趋同，提高多样性。

Description

一种基于层级优化度量学习的行人再识别方法

技术领域

本发明属于行人再识别领域，更具体地，涉及一种基于层级优化度量学习的行人再识别方法。

背景技术

在生活中，许多场景都安装有大量的摄像头，这些视频采集设备能够产生海量数据。行人再识别技术就是利用海量的视觉信息来分析行人的特征。行人再识别技术有着广阔的应用，能够用于行人追踪、行人的年龄识别、行人行为判断等。近些年来，行人再识别技术得到了快速发展，其中，基于度量学习的行人再识别技术是较为主流的方法。

度量学习的本质可以简单地描述为：有监督地学习一个映射机制，用该机制把样本映射到一个新的嵌入空间中；在这个嵌入空间中，需要满足样本约束条件：具有相同标签样本间的距离小于不同标签样本间的距离。这个完整的度量学习具有三个部分：映射样本，构建样本约束，计算损失并更新参数。度量学习的发展可以划分两个阶段：传统度量学习阶段和深度度量学习阶段。传统度量学习的建模过程可以描述为：利用一个半正定的马氏矩阵定义马氏距离，并通过把问题转化成凸优化问题求得该矩阵最优解。深度度量学习的建模过程比较简单，主要是利用深度神经网络的很强表达能力和强非线性映射能力来实习度量学习的目标。

传统度量学习和深度度量学习仅仅在损失函数是相同的，在其它面却存在很大的差异性。从结构上分析，传统度量学习属于单层矩阵的模型，因此在优化方面，它具有深度度量学习所不具备的优势，比如，算法收敛性有保障，优化的参数少，数学背景容易解释，约束条件容易转换。但是，传统的网络模型在训练过程中，参数向量(或参数矩阵)容易趋同，使得网络陷入局部最优，并最终影响模型的性能。与传统度量学习相比，具有多层结构的深度度量学习的优化算法主要有梯度下降法以及其改进优化算法，性能效果总体上优于传统度量学习。但是，无论传统的度量学习还是深度度量学习，构建模型的三元样本约束集都会产生很大时间开销。此外，现有的基于度量学习的行人再识别技术，只能单独使用反向传播技术来优化深度模型或者利用数学转换来确保浅层模型凸优化。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于层级优化度量学习的行人再识别方法，其目的在于实现深度神经网络与传统度量学习有机地结合，改进了构建三元样本约束的策略，提出了一个新的正则项和一种分级式的优化策略，可以有效地改善样本的分布和实现数据降维。

为实现上述目的，按照本发明的一个方面，提供了一种基于层级优化度量学习的行人再识别方法，所述方法包括以下步骤：

S1.选择训练样本集，初始化嵌入空间的维度Dim_e、反向传播算法的学习率η和迭代次数N_iter；

S2.使用训练样本集预训深度神经网络，根据训练好的深度神经网络参数初始化去掉损失层的深度神经网络权重参数W，利用随机数初始化映射矩阵L；

S3.选取部分训练样本，在当前的W和L下，把该批样本映射到维度为Dim_e的嵌入空间；

S4.在嵌入空间中构建三元样本约束，得到三元样本约束集；

S5.遍历全部三元样本约束集，利用最大边际最近邻法更新映射矩阵L；

S6.固定更新后的映射矩阵L，利用反向传播算法更新网络参数W；

S7.判断迭代次数是否小于N_iter，若是，迭代次数加1，转步骤S3，否则，转步骤S8；

S8.将待测样本输入当前W、L下的去掉损失层的深度神经网络，得到再识别结果。

具体地，步骤S2中，利用[-1，1]范围内的随机数，初始化映射矩阵

其中，Dim_Net表示网络输出向量维度。

具体地，所述把该批样本映射到维度为Dim_e的嵌入空间为：

x′_i＝L×f(W，x_i)

其中，f(W，x_i)表示样本x_i在参数为W的神经网络模型的映射结果，x′_i表示样本在嵌入空间中的特征向量。

具体地，步骤S4包括以下步骤：

S41.在嵌入空间中，计算样本x′_i与其他相同标签样本的距离，选择距离最远的样本作为x′_j；

S42.在嵌入空间中，计算样本x′_i与其他不同标签样本的距离，选择距离最远的样本作为x′_k；

S43.返回三元样本约束(x′_i，x′_j，x′_k)。

具体地，度量学习的损失函数如下：

其中，中(W，L)表示在权重参数W和映射矩阵L下的深度神经网络的损失函数，x′_i，x′_j，x′_k表示样本x_i，x_j，x_k在嵌入空间中的特征向量，样本x_i，x_j属于同一个行人，样本x_i，x_k不属于同一个行人，S表示三元样本约束集合，D_M(，)表示两者之间马氏距离，ρ表示间隔参数，R(W)表示权重参数W对应的正则项。

具体地，神经网络第h层权重的正则项计算公式如下：

其中，R(W_h)表示第h层的正则项，W_h表示深度神经网络的第h层权重，N_h表示第h层的权重分量个数，

表示W_h的第i分量，<,>表示向量的内积运算，λ、γ为超参数。

为实现上述目的，按照本发明的另一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于层级优化度量学习的行人再识别方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)针对现有的基于度量学习的行人再识别技术，只能单独使用反向传播技术来优化深度模型或者利用数学转换来确保浅层模型凸优化问题，本发明提出了一种层次优化策略，利用预先训练好的模型优化网络参数，利用批量梯度下降法优化深度神经网络参数，通过数学上的转换实现映射矩阵凸优化。分级优化模式能够有效的实现深度度量学习与传统度量学习优势互补，进而提升算法性能，提升了行人识别的性能。

(2)针对在构建模型的样本约束时，传统的技术需要大量的时间开销，并且其生成的样本约束很多是无效的(产生的损失为零)问题，本发明提出了一种构建强样本约束的方法，即只利用距离最远的同标签样本与距离最近的异标签样本来构建样本约束。该方法能够有效减少样本约束的数量，也能保证每个样本约束的有效性，进而实现模型快速优化。

(3)针对传统的网络模型在训练过程中，参数向量(或参数矩阵)容易趋同，使得网络陷入局部最优问题，本发明提出了一种新的正则方法，即在每一层的网络层上，通过对参数向量(或者矩阵)求余弦值来衡量参数向量的差异性，最终给出的正则形式为参数向量(或者矩阵)的内积与其范数归一损失的求和。该正则方法能够在训练过程中避免参数趋同，提高多样性。

附图说明

图1为本发明实施例提供的一种基于层级优化度量学习的行人再识别方法流程图；

图2为本发明实施例提供的样本映射到嵌入空间的过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的发明构思为：利用深度神经网络给出样本新的表示特征，然后把新的表征传给一个映射矩阵，最终把样本映射到一个新的嵌入空间中。在该嵌入空间中，利用改进的策略来构建三元样本约束集。最后，根据三元样本约束集，利用分级式优化策略来更新模型参数。

如图1所示，本发明提供了一种基于层级优化度量学习的行人再识别方法，所述方法包括以下步骤：

步骤S1.选择训练样本集，初始化嵌入空间的维度Dim_e、反向传播算法的学习率η和迭代次数N_iter。

训练样本集为{x₁，x₂，…，x_i，…，x_n}，样本x_i表示一个视角下的行人图片，每个人对应一个标签，即同一个人在不同视角下的样本的标签一样，因此，标签数等于行人的个数。

本实施例中嵌入空间的维度Dim_e用在步骤S3，初始化为64；学习率η用在步骤S6，初始化为0.001；迭代次数N_iter用在步骤S7，初始化为3000。

步骤S2.使用训练样本集预训深度神经网络，根据训练好的深度神经网络参数初始化去掉损失层的深度神经网络权重参数W，利用随机数初始化映射矩阵L。

本实例中采用的深度神经网络是一个常规的卷积神经网络，网络结构为：卷积层、最大池化层、卷积层、最大池化层、全连接层、全连接层，其中，卷积核的大小为3*3，步长为1。由于采用了度量学习的损失函数，本发明中的深度神经网络没有常规网络中的最后一层损失层。在对网络权重初始化时，先把网络补全，训练一个传统网络；再去掉最后一层，用来初始化本发明模型的网络部分。

利用[-1，1]范围内的随机数初始化映射矩阵

其中，Dim_Net表示网络输出向量维度。

步骤S3.选取部分训练样本，在当前的W和L下，把该批样本映射到维度为Dim_e的嵌入空间。

如图2所示，原始空间是指原始视觉图像，映射过程是指把图像映射到嵌入空间的过程。在传统度量学习中，样本从原始空间到嵌入空间需要一个映射矩阵来实现。嵌入空间的表示样本由映射矩阵映射到的一个新的空间中，一般来说，嵌入空间的维度比原始空间维度低。

x′_i＝L×f(W，x_i)

其中，f(W，x_i)表示x_i在参数为W的神经网络模型的映射结果。

步骤S4.在嵌入空间中构建三元样本约束，得到三元样本约束集。

三元样本约束是指，三个样本间的距离关系应该满足本发明规定的约束——相同标签样本间的距离小于不同标签样本间的距离。遍历批样本集中的样本，与距离最远的同类样本和距离最近的异类样本来构建样本约束。其有益效果是减少三元样本约束集的数量，且得到约束性更强的样本约束。

步骤S4包括以下步骤：

S41.在嵌入空间中，计算样本x′_i与其他相同标签样本的距离，选择距离最远的样本作为x′_j。

在嵌入空间中距离选择为欧式距离。

S42.在嵌入空间中，计算样本x′_i与其他不同标签样本的距离，选择距离最远的样本作为x′_k。

S43.返回三元样本约束(x′_i，x′_j，x′_k)。

在嵌入空间中构建三元样本约束，得到三元样本约束集。

步骤S5.遍历全部三元样本约束集，利用最大边际最近邻法更新映射矩阵L。

最大边际最近邻法(Large margin nearest neighbor，LMNN)的目标是学习一种马氏距离度量方式

其中，半正定对称矩阵M可表示为M＝L^TL

更新过程如下：

(1)计算梯度G_t+1，计算公式如下：

其中，G_t表示第t次迭代梯度，μ表示权重系数，一般取0.5，S_t表示第t次迭代三元样本约束集，D_M表示马氏距离。

(2)更新马氏矩阵

M_t+1＝SDP(M_t-αG_t+1)

其中，M_t表示第t次迭代马氏矩阵，α表示权重系数，SDP(Semi-definiteProgramming，半定规化)为凸函数，保证马氏矩阵为半正定矩阵。

(3)更新映射矩阵L

利用构建样本的三元约束来训练模型，利用传统的度量学习算法去优化映射矩阵。

步骤S6.固定更新后的映射矩阵L，利用反向传播算法更新网络参数W。

度量学习里面的损失函数。

其中，Φ(W，L)表示在权重参数W和映射矩阵L下的深度神经网络的损失函数，x′_i，x′_j，x′_k表示样本x_i，x_j，x_k在嵌入空间中的特征向量，样本x_i，x_j属于同一个行人，样本x_i，x_k不属于同一个行人，S表示三元样本约束集合，ρ表示间隔参数，一般为1，R(W)表示权重参数W对应的正则项。

在损失函数Φ(W，L)的基础上，利用反向传播算法，更新网络参数W。反向传播算法的学习率η为0.001。

优选地，为了让同层权重的各个分量尽量差异化，通过最大化余弦相似度来增大每层中神经元的差异性，本发明设计了一种特殊的正则项——该正则项包含有余弦项和范数约束项，并用两个权重系数λ、γ对它们进行合并，该正则项的有益效果是避免优化过程中出现近似的神经元，有利于增加新特征的丰富度。

神经网络第h层权重的正则项表示如下：

其中，R(W_h)表示第h层的正则项，W_h表示深度神经网络的第h层权重，N_h表示第h层的权重分量个数，

表示W_h的第i分量，<，>表示向量的内积运算，超参数λ、γ需要事先定好，本实施例中设置为0.5、0.5。

步骤S7.判断迭代次数是否小于N_iter，若是，迭代次数加1，转步骤S3，否则，转步骤S8。

步骤S8.将待测样本输入当前W、L下的去掉损失层的深度神经网络，得到再识别结果。

输出优化后的参数，得到本算法的模型。至此，本发明得到了一个映射机制，可以把各个视角获得的图片通过这个映射机制映射到嵌入空间中，在这个空间上对行人进行匹配。

利用深度神经网络的强表达能力来提取样本的强特征，然后再在强特征的基础上利用传统的度量学习来优化一个映射矩阵，并保证该映射矩阵在当前强特征下是最优的。这种优化策略把深度神经网络与传统度量学习结合起来。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于层级优化度量学习的行人再识别方法，其特征在于，所述方法包括以下步骤：

S1.选择训练样本集，初始化嵌入空间的维度Dim_e、反向传播算法的学习率η和迭代次数N_iter，所述训练样本集为{x₁，x₂，…，x_i，…，x_n}，样本x_i表示一个视角下的行人图片，每个人对应一个标签，即同一个人在不同视角下的样本的标签一样，因此，标签数等于行人的个数；

S2.使用训练样本集预训深度神经网络，根据训练好的深度神经网络参数初始化去掉损失层的深度神经网络权重参数W，利用随机数初始化映射矩阵L；

S3.选取部分训练样本，在当前的W和L下，把该批样本映射到维度为Dim_e的嵌入空间；

S4.在嵌入空间中构建三元样本约束，得到三元样本约束集；

S5.遍历全部三元样本约束集，利用最大边际最近邻法更新映射矩阵L；

S6.固定更新后的映射矩阵L，利用反向传播算法更新权重参数W；

S7.判断迭代次数是否小于N_iter，若是，迭代次数加1，转步骤S3，否则，转步骤S8；

S8.将待测样本输入当前W、L下的去掉损失层的深度神经网络，得到再识别结果；

步骤S4包括以下步骤：

S41.在嵌入空间中，计算样本x′_i与其他相同标签样本的距离，选择距离最远的样本作为x′_j；

S42.在嵌入空间中，计算样本x′_i与其他不同标签样本的距离，选择距离最远的样本作为x′_k；

S43.返回三元样本约束(x′_i，x′_j，x′_k)；

度量学习的损失函数如下：

其中，Φ(W，L)表示在权重参数W和映射矩阵L下的深度神经网络的损失函数，x′_i，x′_j，x′_k表示样本x_i，x_j，x_k在嵌入空间中的特征向量，样本x_i，x_j属于同一个行人，样本x_i，x_k不属于同一个行人，S表示三元样本约束集合，D_M(，)表示两者之间马氏距离，ρ表示间隔参数，R(W)表示权重参数W对应的正则项；

神经网络第h层权重的正则项计算公式如下：

其中，R(W_h)表示第h层的正则项，W_h表示深度神经网络的第h层权重，N_h表示第h层的权重分量个数，

表示W_h的第i分量，<，>表示向量的内积运算，λ、γ为超参数。

2.如权利要求1所述的方法，其特征在于，步骤S2中，利用[-1，1]范围内的随机数，初始化映射矩阵

其中，Dim_Net表示网络输出向量维度。

3.如权利要求1所述的方法，其特征在于，所述把该批样本映射到维度为Dim_e的嵌入空间为：

x′_i＝L×f(W，x_i)

其中，f(W，x_i)表示样本x_i在权重参数为W的神经网络模型的映射结果，x′_i表示样本在嵌入空间中的特征向量。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于层级优化度量学习的行人再识别方法。

Images