CN108921140A - 行人再识别方法 - Google Patents

Abstract

本发明公开了一种行人再识别方法，包括：获取目标行人的图像序列中每一帧图像对应的特征信息及每一行人样本的图像序列中每一帧图像对应的特征信息；将目标行人图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及将每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量；计算目标行人的特征向量与所有行人样本中每一行人样本的特征向量之间的距离；将所有距离进行对比得到最小距离；判断最小距离是否小于预定阈值，若最小距离小于预定阈值，将目标行人与最小距离对应的行人样本识别为同一行人。本发明的技术方案，提高了视频流中行人再识别的识别正确率，也改善在视角、光线变化下算法的鲁棒性。

Description

行人再识别方法

技术领域

本发明涉及智能视频监控技术领域，具体而言，涉及一种行人再识别方法。

背景技术

随着人们对社会公共安全的日益关注，视频采集、监控领域及大规模存储技术得到了快速的发展，大量的监控成像装置应用在商场、学校、公园、医院、公司、地铁站及大型广场等人群密集易发生公共安全事件的场所。面对海量增长的视频，对视频中的行人进行再识别的需求应运而生。

行人再识别是在非重叠视域的不同摄像机识别匹配同一行人问题的研究，也称其为行人检索。近些年来，基于视频的行人再识别逐渐成为计算机视觉领域的热点研究问题，在社会公共安全和视频监控等领域有着广泛的应用。目前基于视频的行人再识别仍然存在视角改变、光照变化、及行为相似等因素的挑战，从而给开发高效、鲁棒和可用的行人再识别算法带来了巨大的挑战。

发明内容

鉴于上述问题，本发明实施例的目的在于提供一种行人再识别方法，以解决现有技术的不足。

根据本发明的一个实施方式，提供一种行人再识别方法，应用于至少两个非重叠视域下的成像装置，每一所述成像装置采集至少一个行人样本的图像序列，每一行人样本的图像序列包括至少一帧图像，该方法包括：

获取目标行人的图像序列中每一帧图像对应的特征信息及每一行人样本的图像序列中每一帧图像对应的特征信息；

将所述目标行人图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及将每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量；

计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离；

将所有距离进行对比得到最小距离；

判断所述最小距离是否小于预定阈值，若所述最小距离小于所述预定阈值，将目标行人与所述最小距离对应的行人样本识别为同一行人。

在上述的行人再识别方法中，所述特征信息包括外观特征信息及空时特征信息。

在上述的行人再识别方法中，通过卷积神经网络获取每一帧图像对应的外观特征信息及通过循环神经网络获取每一帧图像对应的空时特征信息。

在上述的行人再识别方法中，所述卷积神经网络包括七个层级构成，第一层级包括第一卷积层、第一池化层及第一归一化层，第二层级包括第二卷积层、第二池化层及第二归一化层，第三层级包括第三卷积层，第四层级包括第四卷积层，第五层级包括第五卷积层和池化层，第六层级包括第六全连接层，第七层级包括第七全连接层。

在上述的行人再识别方法中，所述卷积神经网络各层级的卷积层的卷积核分别为96(11*11)、256(5*5)、384(3*3)、384(3*3)及256(3*3)。

在上述的行人再识别方法中，所述卷积神经网络各层级的池化层为最大池化层。

在上述的行人再识别方法中，所述卷积神经网络的非线性激活函数为ReLU函数。

在上述的行人再识别方法中，将所述卷积神经网络第二层级输出的特征信息作为所述循环神经网络的输入以获取所述空时特征信息。

在上述的行人再识别方法中，所述循环神经网络的非线性激活函数为tanh函数。

在上述的行人再识别方法中，通过平均池化层将所有帧图像对应的外观特征信息聚合为一外观特征向量及将所有帧图像对应的空时特征信息聚合为一空时特征向量；

将所述外观特征向量和所述空时特征向量组合为一表示行人特征的特征向量。

在上述的行人再识别方法中，所述距离为马氏距离，所述马氏距离表示为：

γ_m,n＝(ν_m-ν_n)^TM(ν_m-ν_n)

其中，γ_m,n为行人样本m和行人样本n之间的马氏距离，ν_m为行人样本m的特征向量，ν_n为行人样本n的特征向量，M为距离矩阵，所述距离矩阵为半正定矩阵。

在上述的行人再识别方法中，通过随机梯度下降算法循环迭代u次预设目标函数直至随机梯度为0，得到最优的距离矩阵M。

在上述的行人再识别方法中，所述目标函数表示为：

其中，F(γ)为目标函数，β为权值平均参数，为第y个类内距离，γ_◇z为第z个类间距离，ε为自由参数，其中，所述类内距离为是指同一行人的不同图像序列特征向量之间的距离，类间距离是指不同行人的不同图像序列特征向量之间的距离。

在上述的行人再识别方法中，若所述最小距离大于或等于所述预定阈值，将目标行人与所述最小距离对应的行人样本识别为不同行人。

根据本发明的另一个实施方式，提供一种行人再识别装置，应用于至少两个非重叠视域下的成像装置，每一所述成像装置采集至少一个行人样本的图像序列，每一行人样本的图像序列包括至少一帧图像，该装置包括：

获取模块，用于获取目标行人的图像序列中每一帧图像对应的特征信息及每一行人样本的图像序列中每一帧图像对应的特征信息；

聚合模块，用于将所述目标行人图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及将每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量；

计算模块，用于计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离；

对比模块，用于将所有距离进行对比得到最小距离；

判断识别模块，用于判断所述最小距离是否小于预定阈值，若所述最小距离小于所述预定阈值，将目标行人与所述最小距离对应的行人样本识别为同一行人。

根据本发明的又一个实施方式，提供一种计算机终端，所述移动终端包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的行人再识别方法。

根据本发明的再一个实施方式，提供一种计算机可读存储介质，其存储有上述的计算机终端中所使用的所述计算机程序。

本公开的实施例提供的技术方案可以包括如下有益效果：

本发明中一种行人再识别方法，每一行人的图像序列均包括至少一帧图像，提取多帧图像对应的特征信息以使表示行人的特征信息更丰富全面；将多帧图像对应的特征信息聚合为一表示行人的特征特征向量，在提取到更多有用特征的同时减少算法计算量，提高再识别效率；将所述特征信息后通过相对距离比较的思想解决行人外观、行为相似等问题，提高行人再识别的鲁棒性及再识别行人的准确度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明第一实施例提供的一种行人再识别方法的流程示意图。

图2示出了本发明实施例提供的一种卷积神经网络的结构示意图。

图3示出了本发明实施例提供的一种循环神经网络的结构示意图。

图4示出了本发明第二实施例提供的一种行人再识别方法的流程示意图。

图5示出了本发明实施例提供的一种行人再识别装置的结构示意图。

主要元件符号说明：

500-行人再识别装置；510-获取模块；520-聚合模块；530-计算模块；540-对比模块；550-判断识别模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1示出了本发明第一实施例提供的一种行人再识别方法的流程示意图。该方法应用于至少两个非重叠视域下的成像装置，每一所述成像装置采集至少一个行人样本的图像序列，每一行人样本的图像序列包括至少一帧图像。

本实施例中，所述成像装置可以为摄像头。在一些其他的实施例中，所述成像装置还可以为录像机等任意成像设备。

本实施例中，所述行人再识别方法应用于两个非重叠视域下的摄像头。在一些其他的实施例中，所述行人再识别方法应用于两个以上非重叠视域下的摄像头。

所述摄像头采集其视域下的视频信息，在所述视频中分别选取每一行人对应的视频片段。

本实施例中，可以将所述视频片段中的所有帧图像组成一图像序列进行后续处理。在一些其他的实施例中，还可以在所述视频片段的所有帧图像中选取预定数量帧的图像组成一图像序列。

本实施例中，所述每一行人的图像序列中可包括相同数量帧的图像。在一些其他的实施例中，所述每一行人的图像序列中还可以包括不同数量帧的图像，例如行人A的图像序列中包括10帧图像，行人B的图像序列中包括5帧图像等。

将摄像头拍摄的每一行人均作为一个行人样本，以进行后续与目标行人的距离对比的操作。

在步骤S110中，获取目标行人的图像序列中每一帧图像对应的特征信息及每一行人样本的图像序列中每一帧图像对应的特征信息。

本实施例中，所述目标行人的图像序列和所述行人样本的图像序列均可通过上述的摄像头获取。用户可通过摄像头采集的视频信息中指定所述目标行人，并根据目标行人的视频片段中得到该目标行人对应的图像序列。在一些其他的实施例中，用户还可以通过上述的摄像头之外的其他成像装置采集的视频信息中指定所述目标行人。

本实施例中，所述特征信息包括外观特征信息、空时特征信息等。通过多维度的特征信息表示行人，分别从每一维度的特征信息对行人进行再识别，识别的结果准确度更高。

所述外观特征信息表示行人外貌的特征信息，包括衣物颜色信息、行人纹理信息及图像中语义信息等高维、中低维的特征信息，还包括图像中全局信息和局部信息的融合等。通过图像序列中多帧图像及视角丰富的优势，相比于现有的提取单帧图像的外观特征信息，通过提取所述图像序列中多帧图像的外观特征信息，使提取的特征信息更丰富更全面，更准确的描述行人；通过图像序列中多帧图像中行人全局信息及局部信息，解决行人再识别中行人外观及行为相似的问题。

所述空时特征信息表示图像序列中行人上下纹理的关联信息和时态的关联信息，因视频中行人在空间和时间上都存在运动关联信息，故称为空时特征信息。根据图像序列中不同帧图像在时间和空间上的关联的特点，将图像序列中不同帧图像的关联信息转化为结构化的循环依赖关系，从而获得空时特征信息稳定有效地表示行人。通过采用空时关联信息不但能克服背景干扰和遮挡的困难，还能解决视角、光照变化的问题，提高再识别行人的准确率。

本实施例中，可通过卷积神经网络提取所述每一帧图像对应的外观特征信息。在一些其他的实施例中，还可以通过其他的算法提取所述每一帧图像对应的外观特征信息。

如图2示出了本发明实施例提供的一种卷积神经网络的结构示意图。所述卷积神经网络包括七个层级，由五层卷积层、三层池化层、二层归一化层及二层全连接层组成。

其中，第一层级包括第一卷积层、第一池化层及第一归一化层。第二层级包括第二卷积层、第二池化层及第二归一化层。第三层级包括第三卷积层。第四层级包括第四卷积层。第五层级包括第五卷积层和第五池化层。第六层级包括第六全连接层。第七层级包括第七全连接层。

进一步地，所述卷积神经网络中各层级的卷积层的卷积核分别为96(11*11)、256(5*5)、384(3*3)、384(3*3)及256(3*3)。

进一步地，所述卷积神经网络中各层级的池化层均采用最大池化层，减少由于各卷积层参数误差造成估计均值的偏移造成的误差，更多的保留图像的纹理信息。

本实施例中，所述卷积神经网络的非线性激活函数可以为ReLU函数。ReLU函数收敛较快，求取梯度比较简单。在一些其他的实施例中，所述非线性激活函数还可以为tanh函数、sigmoid函数等。

为了提高卷积神经网络模型的泛化能力，在使用所述卷积神经网络模型之前还需要对所述网络模型进行训练，以提高网络模型的通用性。

可通过初始化方法对卷积核进行赋予初始随机值，例如，通过随机小数矩阵对卷积核赋初值。通过成千上万的训练样本对该神经网络模型进行训练，每一次训练均可能对卷积核的值造成影响，根据每一训练对卷积核的值进行更新。本实施例中，可通过Backprop反向传播算法对所述神经网络模型进行训练，通过调整网络模型层数、结构等，直至模型的识别率及***平均误差达到预定值，在模型的识别率及***平均误差达到预定值时，停止对所述神经网络模型的训练。

可将目标行人的图像序列中的每一帧图像及所有行人样本中每一行人的图像序列中每一帧图像均进行预处理，得到对应的64×128大小的图像，将该图像作为输入送入卷积神经网络第一层级的第一卷积层。第一卷积层包括96个11×11的卷积核，通过训练好的该96个11×11的卷积核对当前帧图像做卷积操作，以11×11尺寸为窗口尺寸与当前帧图像进行局部连接，减少卷积层数据处理量。在第一卷积层做卷积操作后，得到96个第一卷积特征图。

将96个特征图作为输入，送入第一池化层进行压缩，以3×3为窗口尺寸，以步长为2在所述第一卷积特征图进行滑动，选取每一窗口内最大值，得到第一池化特征图，进一步减少数据处理量同时保留有用信息。

将所述第一池化特征图作为输入送入第一归一化层，减少各维度数据取值范围的差异而带来的干扰，抑制和均衡图像序列中行人某些突出的特征表示，减少过拟合，从而获得稳定的第一层级特征图f₁(s)。

将所述第一层级特征图f₁(s)过非线性激活函数ReLU函数进行映射，所述ReLU函数定义如下：

g(x)＝max(0,x)

为了使续处理的数据越来越少，算法处理速度更快，将第一层级特征图f₁(s)经过该ReLU函数后，保留大于或等于0的特征，舍弃关联度比较小的数据。

将经过非线性激活函数映射后的第一层级特征图送入所述卷积神经网络第二层级进行卷积、池化及归一化操作得到第二层级特征图f₂(s)。第二层级第二卷积层包括256个5×5的卷积核，第二池化层中窗口尺寸为3×3，步长为2。

将所述第二层级特征图f₂(s)经过ReLU函数进行非线性映射后送入所述卷积神经网络的第三层级进行卷积操作得到第三层级特征图f₃(s)，第三层级第三卷积层包括384个3×3的卷积核。

将所述第三层级特征图f₃(s)经过ReLU函数进行非线性映射后送入所述卷积神经网络的第四层级进行卷积操作得到第四层级特征图f₄(s)，第四层级第四卷积层包括384个3×3的卷积核。

将所述第四层级特征图f₄(s)经过ReLU函数进行非线性映射后送入所述卷积神经网络的第五层级进行卷积、池化操作得到第五层级特征图f₅(s)，第五层级第五卷积层包括256个3×3的卷积核，第五池化层中窗口尺寸为3×3，步长为2。

将所述第五层级特征图f₅(s)经过ReLU函数进行非线性映射后送入所述卷积神经网络的第六层级进行全连接分类操作，对所述第五层级特征图f₅(s)进行维度上的转换，得到第六层级特征图f₆(s)。

将所述第六层级特征图f₆(s)经过ReLU函数进行非线性映射后送入所述卷积神经网络的第七层级进行全连接分类操作，最终得到一4096维的外观特征信息f(s)。

本实施例中，可通过循环神经网络提取所述每一帧图像对应的空时特征信息。在一些其他的实施例中，还可以通过其他的算法提取所述每一帧图像对应的空时特征信息。

如图3示出了本发明实施例提供的一种循环神经网络的结构示意图。

所述循环神经网络包括一隐藏层，所述隐藏层包括多个神经元节点，所有神经元节点之间均可连接。

进一步地，将所述卷积神经网络第二层级输出的特征信息f₂(s)作为所述循环神经网络的输入以获取所述空时特征信息，所述第二层级特征图f₂(s)中包含的有用信息更多，更准确，信息更稳定，以使所述循环神经网络提取处精确度更高的空时特征信息。

所述隐藏层中的多个神经元根据当前的输入的每个第二层级特征图f₂(s)及所述循环神经网络在处理当前帧的前一帧的隐藏状态，对输入的每个区域图像进行学习，得到当前帧图像对应的空时特征信息O(s)。

例如，所述空时特征信息O(s)可通过下式获得：

O(s)＝∑Wf₂(s)+Hr(s-1)

r(s)＝tanh(O(s))

其中，W为输入层到隐藏层之间的权值系数矩阵，H为隐藏层到输出层之间的权值系数矩阵，f₂(s)为输入层在某一时刻的输入，r(s)为所述循环神经网络在某一时刻的记忆，包含了某一时刻之前所有时刻的特征信息。

所述循环神经网络的非线性激活函数为tanh函数，tanh函数输出和输入能够保持非线性单调上升和下降关系，符合BP网络的梯度求解，容错性好，渐进于0、1，符合人脑神经饱和的规律。

在步骤S120中，将所述目标行人图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及将每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量。

本实施例中，通过池化层算法将目标行人的图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量。在一些其他的实施例中，还可通过其他算法将特征信息进行聚合。

具体地，所述池化层为平均池化层。通过平均池化层减少邻域大小受限造成的估计值方差增大的问题，更多的保留图像的背景信息。

以下以将目标行人的图像序列中的每一帧图像对应的特征信息聚合为一表示目标行人的特征向量为例进行说明，所有行人样本中每一行人样本的图像序列中所有帧图像对应的特征信息同样可通过以下方式聚合为一表示行人样本的特征向量。

在获取所述目标行人图像序列中所有帧图像对应的外观特征信息及空时特征信息后，将目标行人图像序列中所有帧图像对应的外观特征信息表示为：

f(s)＝{f(s)¹,f(s)²,……,f(s)^L}

其中，L表示目标行人图像序列中包含的图像帧数，f(s)^L表示目标行人图像序列中第L帧图像对应的外观特征信息。

通过平均池化方法将所有帧图像对应的外观特征信息聚合为一外观特征向量，如：

其中，f'(s)表示外观特征向量。

将目标行人图像序列中所有帧图像对应的空时特征信息表示为：

O(s)＝{O(s)¹,O(s)²,……,O(s)^L}

其中，L表示目标行人图像序列中包含的图像帧数，O(s)^L表示目标行人图像序列中第L帧图像对应的空时特征信息。

通过平均池化方法将所有帧图像对应的空时特征信息聚合为一空时特征向量，如：

其中，O'(s)表示空时特征向量。

将聚合后的所述外观特征向量及所述空时特征向量组合为一表示行人特征的特征向量。

ν_m＝{f'_m(s),O'_m(s),x_m}

其中，f'_m(s)和O'_m(s)分别表示目标行人x_m对应的外观特征向量和空时特征向量。

通过该聚合方式在特征信息丰富的前提下减少行人再识别的计算量，减少算法的时间复杂度，提高行人再识别效率。

在步骤S130中，计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离。

本实施例中，所述行人样本的图像序列通过其他摄像头进行采集，所述其他摄像头为除了步骤S110中所述的采集目标行人图像序列的摄像头之外的其他摄像头。在一些其他的实施例中，部分行人样本的图像序列与所述目标行人的图像序列还可以通过同一摄像头进行采集。

本实施例中，所述距离为马氏距离，马氏距离为协方差距离，是一种有效地计算两个未知样本的相似性计算方法。在一些其他的实施例中，所述距离还可以为欧氏距离等。

本实施例中，将包括外观特征向量及空时特征向量的表示行人的多维信息的特征向量送入最优距离差异的测度学习算法中，计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离。有效解决由于背景遮挡、干扰及运动所带来的问题。

样本之间马氏距离可通过下式表示：

γ_m,n＝(ν_m-ν_n)^TM(ν_m-ν_n)

其中，γ_m,n为行人样本m和行人样本n之间的马氏距离，ν_m为行人样本m的特征向量，ν_n为行人样本n的特征向量，M为距离矩阵，所述距离矩阵为半正定矩阵。

行人再识别的理想结果使对于一目标行人图像序列来说，其与所有行人样本中匹配样本之间的距离总是小于其与所有行人样本中不匹配样本之间的距离，即最小类间距离总是大于最大类内距离。

其中，类内距离是指同一行人的不同图像序列特征向量之间的距离，类间距离是指不同行人的不同图像序列特征向量之间的距离。

为了使行人再识别的结果更理想，通过最优距离差异的测度学习算法实现增大类间距离，减少类内距离的目的，通过预先设定的测试行人样本对所述测度学习算法进行训练，得到一最优的距离矩阵M，以使最小类间距离总是大于最大类内距离。

将行人样本间所有距离表示为集合δ：

其中，δ_◇表示类间距离集合，表示类内距离集合，z,y分别表示类间距离集合与类内距离集合中的数量。

我们在类间距离集合中寻找最小距离表示为minδ_◇，并期望最小类间距离总是大于每一类内距离：

其中，ε是自由参数，可将其参数设定为-1。

将减少类内距离表示为：

其中，为第y个类内距离。

将增大类间距离表示为：

其中，γ_◇z为第z个类间距离。

用目标函数将上述的思想综合表示为：

其中，F(γ)为目标函数，β为权值平均参数。

通过随机梯度下降法循环u次所述目标函数，直至所述最优距离差异的测度学习算法收敛，随机梯度为0，此时，得到最优的距离矩阵M。

在第u次迭代时对于距离矩阵M_u的随机梯度为：

其中，M_u为第u次迭代时的距离矩阵，G_u为梯度。

通过学习得到最优的距离矩阵M后，计算所述目标行人的所述特征向量与所有行人样本的所述特征向量之间的距离。

在步骤S140中，将所有距离进行对比得到最小距离。

将步骤S130中计算的所有距离进行对比，得到最小距离。

在步骤S150中，判断所述最小距离是否小于预定阈值。

将该最小距离与预定阈值进行对比，若所述最小距离小于所述预定阈值，前进至步骤S160；若所述最小距离大于或等于所述预定阈值，前进至步骤S170。

在步骤S160中，将目标行人与所述最小距离对应的行人样本识别为同一行人。

在步骤S170中，将目标行人与所述最小距离对应的行人样本识别为不同行人。

实施例2

图4示出了本发明第二实施例提供的一种行人再识别方法的流程示意图。该方法应用于至少两个非重叠视域下的摄像头，每一所述摄像头采集至少一个行人样本的图像序列，每一行人样本的图像序列至少包括一帧图像。

该方法包括如下所述的步骤：

在步骤S210中，选取每一行人图像序列。

本实施例中，从至少一个非重叠视域下的摄像头所采集的视频流中分别选取N个行人样本视频片段，从该视频片段中选取预定数量帧的图像组成图像序列。在一些其他的实施例中，还可以将该视频片段中所有帧的图像组成图像序列。其中，该选取出的N个行人样本的图像序列可一部分用于测试，一部分用于训练。

在步骤S220中，将目标行人图像序列及每一行人样本图像序列中每一帧图像进行预处理。

对获取的目标行人图像序列中的所有帧图像及所有行人样本中每一行人样本的图像序列中所有帧图像均进行预处理，将所有图像转换为可被计算机进行处理的格式，图像幅度归一化到同样的范围，减少各维度数据取值范围的差异而带来的干扰。

所述预处理包括去均值、归一化、去相关或白化中的一种或几种。

在步骤S230中，获取每一帧图像的外观特征信息。

通过卷积神经网络获取所述目标行人及所有行人样本中每一行人样本的图像序列中每一帧图像对应的外观特征信息。

在步骤S240中，获取每一帧图像的空时特征信息。

通过循环神经网络获取所述目标行人及所有行人样本中每一行人样本的图像序列中每一帧图像对应的空时特征信息。

进一步地，将所述卷积神经网络第二层级输出的特征向量作为所述循环神经网络的输入以获取所述空时特征信息。

在步骤S250中，将所有帧图像对应的外观特征信息聚合为一外观特征向量。

通过平均池化层将所述目标行人及所有行人样本中每一行人样本的图像序列所有帧图像对应的外观特征信息聚合为一外观特征向量。

在步骤S260中，将所有帧图像对应的空时特征信息聚合为一空时特征向量。

通过平均池化层将所述目标行人及所有行人样本中每一行人样本的图像序列所有帧图像对应的空时特征信息聚合为一空时特征向量。

在步骤S270中，将所述外观特征向量和所述空时特征向量组合为一表示行人特征的特征向量。

通过外观特征信息及空时特征信息表示行人的特征。

在步骤S280中，计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离。

在步骤S290中，将所有距离进行对比得到最小距离。

在步骤S300中，判断最小距离是否小于预定阈值。

若最小距离小于预定阈值，前进至步骤S310；若最小距离不小于预定阈值，前进至步骤S320。

在步骤S310中，将目标行人与所述最小距离对应的行人样本识别为同一行人。

在步骤S320中，将目标行人与最小距离对应的行人样本识别为不同行人。

实施例3

图5示出了本发明实施例提供的一种行人再识别装置的结构示意图。应用于应用于至少两个非重叠视域下的摄像头，每一所述摄像头采集至少一个行人样本的图像序列，每一行人样本的图像序列至少包括一帧图像。所述行人再识别装置500对应于实施例1的行人再识别方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。

所述行人再识别装置500包括获取模块510、聚合模块520、计算模块530、对比模块540及判断识别模块550。

获取模块510，用于获取目标行人的图像序列中每一帧图像对应的特征信息及每一行人样本的图像序列中每一帧图像对应的特征信息。

聚合模块520，用于将所述目标行人图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及将每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量。

计算模块530，用于计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离。

对比模块540，用于将所有距离进行对比得到最小距离。

判断识别模块550，用于判断所述最小距离是否小于预定阈值，若所述最小距离小于所述预定阈值，将目标行人与所述最小距离对应的行人样本识别为同一行人。

本发明还提供了一种计算机终端，该计算机终端可以包括个人电脑、服务器等。该计算机终端包括存储器和处理器，存储器可用于存储计算机程序，处理器通过运行所述计算机程序，从而使移动终端执行上述行人再识别方法或者上述行人再识别装置中的各个模块的功能。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据计算机终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供了一种计算机存储介质，用于储存上述计算机终端中使用的所述计算机程序。

至此，本发明实施例提供的一种行人再识别方法，至少提供以下技术效果：

采用卷积神经网络提取图像序列中行人的外观特征信息。借助图像序列中图像数量多和视角丰富的优势，采用卷积神经网络提取图像序列的高维、中低维特征信息，从而获得丰富的外观特征信息表示行人。由于提取多帧图像序列的特征信息比提取单帧(静止)图像的特征信息丰富，所以通过获得多帧图像序列中行人全局信息和局部信息，解决视频行人再识别中行人外观、行为相似等困难；采用循环神经网络提取图像序列中行人的空时特征信息。借助图像序列中行人普遍存在上下文纹理信息和时态信息的关联性的优势，采用循环神经网络将图像序列中的关联信息转化为结构化的循环依赖关系，从而获得空时特征信息稳定有效地表示行人，且通过采用时态关联信息不但能克服背景干扰和遮挡的困难，还能解决视角、光照变化的问题，提高再识别行人的正确率；采用最优距离差异的测度学习算法实现再识别行人，由于再识别行人总是要求最小类间距离始终大于最大类内距离，所以采用最优距离差异的测度学习算法实现减小类内距离和增大类间距离的目的，通过相对距离比较的思想解决行人再识别中行人外观、行为相似等问题，提高行人再识别的鲁棒性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种行人再识别方法，其特征在于，应用于至少两个非重叠视域下的成像装置，每一所述成像装置采集至少一个行人样本的图像序列，每一行人样本的图像序列包括至少一帧图像，该方法包括：

获取目标行人的图像序列中每一帧图像对应的特征信息及每一行人样本的图像序列中每一帧图像对应的特征信息；

将所述目标行人图像序列中所有帧图像对应的特征信息聚合为一表示目标行人的特征向量及将每一行人样本的图像序列中所有帧图像对应的特征信息聚合为一表示行人样本的特征向量；

计算所述目标行人的所述特征向量与所有行人样本中每一行人样本的所述特征向量之间的距离；

将所有距离进行对比得到最小距离；

判断所述最小距离是否小于预定阈值，若所述最小距离小于所述预定阈值，将目标行人与所述最小距离对应的行人样本识别为同一行人。

2.根据权利要求1所述的行人再识别方法，其特征在于，所述特征信息包括外观特征信息及空时特征信息。

3.根据权利要求2所述的行人再识别方法，其特征在于，通过卷积神经网络获取每一帧图像对应的外观特征信息及通过循环神经网络获取每一帧图像对应的空时特征信息。

4.根据权利要求3所述的行人再识别方法，其特征在于，所述卷积神经网络包括七个层级构成，第一层级包括第一卷积层、第一池化层及第一归一化层，第二层级包括第二卷积层、第二池化层及第二归一化层，第三层级包括第三卷积层，第四层级包括第四卷积层，第五层级包括第五卷积层和池化层，第六层级包括第六全连接层，第七层级包括第七全连接层。

5.根据权利要求4所述的行人再识别方法，其特征在于，所述卷积神经网络各层级的卷积层的卷积核分别为96(11*11)、256(5*5)、384(3*3)、384(3*3)及256(3*3)。

6.根据权利要求3所述的行人再识别方法，其特征在于，将所述卷积神经网络第二层级输出的特征信息作为所述循环神经网络的输入以获取所述空时特征信息。

7.根据权利要求2所述的行人再识别方法，其特征在于，通过平均池化层将图像序列中所有帧图像对应的外观特征信息聚合为一外观特征向量及将图像序列中所有帧图像对应的空时特征信息聚合为一空时特征向量；

将所述外观特征向量和所述空时特征向量组合为一表示行人特征的特征向量。

8.根据权利要求1所述的行人再识别方法，其特征在于，所述距离为马氏距离，所述马氏距离表示为：

γ_m,n＝(ν_m-ν_n)^TM(ν_m-ν_n)

其中，γ_m,n为行人样本m和行人样本n之间的马氏距离，ν_m为行人样本m的特征向量，ν_n为行人样本n的特征向量，M为距离矩阵，所述距离矩阵为半正定矩阵。

9.根据权利要求8所述的行人再识别方法，其特征在于，通过随机梯度下降算法循环迭代u次预设目标函数直至随机梯度为0，得到最优的距离矩阵M。

10.根据权利要求9所述的行人再识别方法，其特征在于，所述目标函数表示为：

其中，F(γ)为目标函数，β为权值平均参数，为第y个类内距离，γ_◇z为第z个类间距离，ε为自由参数，其中，所述类内距离为是指同一行人的不同图像序列特征向量之间的距离，类间距离是指不同行人的不同图像序列特征向量之间的距离。