CN109711267A - 一种行人重识别、行人运动轨迹生成方法及装置 - Google Patents

Abstract

本发明公开了一种行人重识别、行人运动轨迹生成方法及装置，该方法包括：在监控视频中选取包含行人的图像；针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似值；针对任意一第一相似性值，判断该第一相似值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。在本发明中通过使用任意两张图像中的行人属性特征，确定该两张图像的相似性值，根据该相似性值是否超过预设阈值，进而可以确定该两张图像中的行人是否为同一个人。

Description

一种行人重识别、行人运动轨迹生成方法及装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种行人重识别、行人运动轨迹生成方法及装置。

背景技术

当前，视频监控日益普遍，从而产生了巨大的视频数据资源，然而，由于人工查看、分析视频极其费时费力，这些海量的数据资源大多时候没有发挥出应有的价值。以图搜图作为一种视频分析技术，将极大地发挥监控视频数据的价值，为诸如跨摄像头目标跟踪、人员路径生成、犯罪嫌疑人查找等许多应用提供了技术支撑。

近年来，以深度卷积神经网络为代表的深度学习技术在图像、视频的智能化分析方面取得了巨大成功，通用目标检测、跟踪等技术日趋成熟，达到了实用化的程度，行人重识别(行人以图搜图)也不例外。

在行人重识别方面，现有技术公开了的技术方法包括：

第一种是基于空间约束的行人重识别方法，该方法采用预先标定好的拍摄设备的位置及角度来计算投影矩阵，以实现像素坐标到真实世界的三维坐标的转换。该方案采用智能前端与智能服务器后端相结合的方式，以智能前端内的目标检测和跟踪为基础，结合空间信息在服务器后端聚合信息，从而实现行人重识别。

第二种是结合时空和网络一致性的摄像机网络行人重识别方法，对摄像机对和行人对之间分别找到距离和时间差信息，再基于估计的行人速度先验值，以此推出时间差应满足的分布，并据此修正相似性分数。最终的相似性分数为原始的相似性分数与修正相似性分数的加权。最后，基于一致性假设，构建网络整体的优化目标。

由于在提取行走中的人的非结构化特征时会有较大差异，可能会将同一个行人识别为不同的行人，导致行人以图搜图的准确度不高。

发明内容

本发明实施例提供了一种行人重识别、行人运动轨迹生成方法及装置，用以解决现有技术中的行人重识别的精度不高的问题。

本发明实施例提供了一种行人重识别方法，所述方法包括：

在监控视频中选取包含行人的图像；

针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；

针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似性值；

针对任意一第一相似性值，判断该第一相似性值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。

进一步地，所述提取该图像中的行人属性特征之后，所述方法还包括：

将该图像输入到预先训练完成的第二卷积神经网络模型中，提取该图像中行人的非结构化特征；

所述判断该第一相似值是否超过预设阈值之前，所述方法还包括：

针对任意两张图像，根据该两张图像的非结构化特征，确定该两张图像的第二相似性值；

判断该第一相似性值是否超过预设阈值包括：

判断该两张图像的第一相似性值及第二相似性值的和是否超过预设阈值。

进一步地，所述根据该两张图像中的行人属性特征，确定该两张图像的第一相似性值包括：

根据以下公式：确定第一相似性值，其中，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

进一步地，所述行人属性特征包括以下至少一种：

性别，衣服颜色，衣服款式，发型。

进一步地，所述预先训练第一卷积神经网络模型的过程包括：

获取样本图像，其中所述样本图像中标注了图像中行人的行人属性特征中每一维属性特征的值；

将每个样本图像输入到第一卷积神经网络模型中，根据每个第一卷积神经网络模型的输出，对所述卷积神经网络模型进行训练。

本发明实施例提供了一种行人运动轨迹生成方法，所述方法包括：

在监控视频中获取每个行人的运动轨迹；

针对获取的任一段运动轨迹，按照预设规则，在该段运动轨迹对应的视频图像中选取包含行人的图像；

针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对；针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征；根据提取到的行人属性特征，确定该图像对的第一相似性值；如果至少一个第一相似性值超过预设阈值，则将该两段运动轨迹确定为同一行人的运动轨迹。

本发明实施例提供了一种行人重识别装置，所述装置包括：

选取模块，用于在监控视频中选取包含行人的图像；

第一输入提取模块，用于针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；

第一确定模块，用于针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似性值；

判断模块，用于针对任意一第一相似性值，判断该第一相似性值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。

进一步地，所述装置还包括：

第二输入提取模块，用于将该图像输入到预先训练完成的第二卷积神经网络模型中，提取该图像中行人的非结构化特征；

第二确定模块，用于针对任意两张图像，根据该两张图像的非结构化特征，确定该两张图像的第二相似性值；

所述判断模块，具体用于判断该两张图像的第一相似性值及第二相似性值的和是否超过预设阈值。

进一步地，所述第一确定模块，具体用于根据以下公式：

确定第一相似性值，其中，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

进一步地，所述装置还包括：

训练模块，用于获取样本图像，其中所述样本图像中标注了图像中行人的行人属性特征中每一维属性特征的值；将每个样本图像输入到第一卷积神经网络模型中，根据每个第一卷积神经网络模型的输出，对所述卷积神经网络模型进行训练。

本发明实施例还提供了一种行人运动轨迹生成装置，所述装置包括：

获取模块，用于在监控视频中获取每个行人的运动轨迹；

选取模块，用于针对获取的任一段运动轨迹，按照预设规则，在该段运动轨迹对应的视频图像中选取包含行人的图像；

确定模块，用于针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对；针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征；根据提取到的行人属性特征，确定该图像对的第一相似性值；如果至少一个第一相似性值超过预设阈值，则将该两段运动轨迹确定为同一行人的运动轨迹。

本发明实施例提供了一种行人重识别、行人运动轨迹生成方法及装置，所述方法包括：在监控视频中选取包含行人的图像；针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似值；针对任意一第一相似性值，判断该第一相似性值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。由于行人的行人属性特征通常不会发生改变，在本发明中，根据行人的行人属性特征可以更准确的确定两张图像中的行人是否为同一个人。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种行人重识别方法的过程示意图；

图2为本发明实施例5提供的一种基于行人重识别的行人运动轨迹生成方法的过程示意图；

图3为本发明实施例5提供的两个监控视频中的两段运动轨迹示意图；

图4为本发明实施例5提供的确定行人的完整运动轨迹的过程示意图；

图5为本发明实施例6提供的一种行人重识别装置的结构示意图；

图6为本发明实施例7提供的一种行人运动轨迹生成装置的结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种行人重识别方法的过程示意图，该过程包括以下步骤：

S101：在监控视频中选取包含行人的图像。

行人重识别通常应用在视频监控方面，例如，在刑侦工作中，刑侦人员经常浏览多个摄像头中的视频，查找某个指定的行人是否在该摄像头拍摄的监控视频中出现。具体的，是通过比对两个行人的特征，确定该两个行人是否为同一个行人。

因此，在本发明实施例中，首先需要从监控视频中选取多张图像，其中，每一张图像中都包含了一个行人。在具体实施中，该多张图像可以从同一个摄像头拍摄的监控视频中选取，也可以是从多个摄像头拍摄的监控视频中选取。

其中，在监控视频中选取包含行人的图像的过程为现有技术，在本发明实施例中，对该过程不作赘述。

S102：针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征。

在本发明实施例中，通过两张图像中的行人属性特征，确定两张图像中的行人是否为同一行人。因此，首先需要提取每张图像的行人属性特征，其中，行人属性特征包括行人的性别、衣服款式等行人特征。具体的，将在监控视频中选取的任一张图像，将该图像输入到训练完成的第一卷积神经网络模型中，通过第一卷积神经网络模型提取该图像的行人属性特征。

S103：针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似值。

若要判断两张图像中的行人是否为同一个人，可以在提取完每张图像的行人属性特征以后，针对任意两张图像，根据该两张图像的行人属性特征，确定该两张图像的第一相似性值，其中，行人属性特征是一个多维的特征向量，每一维均代表一个属性特征。例如，可以根据两张图像的行人属性特征中的每一维属性特征的值是否相等，如果相等，则确定第一数值，否则，确定第二数值，其中，第一数值大于第二数值，较佳的，第一数值为1，第二数值为0，得到的所有第一数值和/或第二数值的和即为该两张图像的第一相似性值。其中，该第一相似性值越大，则表示该两张图像中的行人的相似性越高，则该两张图像中的行人为同一个行人的可能性就越大。

例如，行人属性特征包括行人性别、衣服款式，即A＝(a₁,a₂)，其中，第一维属性特征为行人性别，第二维属性特征为衣服款式，其中，a₁为第一维属性特征的值，a₂为第二维属性特征的值。其中当该行人的性别为女性时，则a₁具体可以设置为0，当该行人的性别为男性时，则a₁可以设置为1；当该行人的衣服款式为短款时，则a₂可以设置为0，当该行人的衣服款式为长款时，则a₂可以设置为1。具体计算该两张图像的第一相似性值的过程为，如果第一张图像的第一维属性特征值与第二张图像的第一维属性特征值相等，则得到第一数值，否则得到第二数值；如果第一张图像的第二维属性特征值与第二张图像的第二维属性特征值相等，则得到第一数值，否则得到第二数值，其中，第一数值大于第二数值，较佳的，第一数值为1，第二数值为0；两个数值的和即为该两张图像的第一相似性值。

例如，第一张图像的行人属性特征为A₁＝(1,0)，第二张图像的行人属性特征为A₂＝(0,0)。则该两张图像的第一相似性值为S_1,2＝I(1＝＝0)+I(0＝＝0)＝0+1＝1，其中，I为指示性函数，其中1和0不相等，则I(1＝＝0)＝0，0和0相等，则I(0＝＝0)＝1。则该两张图像的第一相似性值为1。

S104：针对任意一第一相似性值，判断该第一相似值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。

在确定完任意两张图像的第一相似性值之后，判断该第一相似性值是否超过第一预设阈值，如果是，则可以确定该第一相似性值对应的两张图像中的行人为同一个人；如果否，则可以确该第一相似性值对应的两张图像中的行人为两个不同的人。

在本发明实施例中，针对在监控视频中选取的任一图像，通过第一卷积神经网络模型提取该图像的行人属性特征，针对任意两张图像，根据该两张图像的行人属性特征，计算该两张图像中的行人的第一相似性值，如果该第一相似性值超过预设阈值，则可以确定该两张图像中的行人为同一个人。由于行人的行人属性特征通常不会发生改变，例如行人的衣服颜色不会发生变化，在本发明中，根据行人的行人属性特征可以更准确的确定两张图像中的行人是否为同一个人。

实施例2：

为了更加准确的判断两张图像中的行人是否为同一个人，在上述实施例的基础上，在本发明实施例中，所述提取该图像中的行人属性特征之后，所述方法还包括：

将该图像输入到预先训练完成的第二卷积神经网络模型中，提取该图像中行人的非结构化特征；

所述判断该第一相似值是否超过预设阈值之前，所述方法还包括：

针对任意两张图像，根据该两张图像的非结构化特征，确定该两张图像的第二相似性值；

判断该第一相似性值是否超过预设阈值包括：

判断该两张图像的第一相似性值及第二相似性值的和是否超过预设阈值。

为了更加准确的确定两张图像中的行人是否为同一个人，还可以获取图像中行人的非结构化特征，具体的，针对任意一张图像，将该图像输入到第二卷积神经网络模型中，提取该图像中行人的非结构化特征。

其中，训练第二卷积神经网络模型的过程为现有技术，在本发明实施例中，对该训练过程不作赘述；并且提取非结构化特征的过程为现有技术，在本发明实施例中，亦对该过程不作赘述。

在提取完每张图像的非结构化特征之后，为了更加准确的确定两张图像中的行人是否为同一个人，在本发明实施例中，可以针对任意两张图像，根据该两张图像提取的非结构化特征，确定该两张图像的第二相似性值。

确定了两张图像的第二相似性值之后，根据第一相似性值和第二相似性值的和，以及预设的第二预设阈值，可以更好的判断两张图像中的行人是否为同一个人。具体的，如果该两张图像的第一相似性值与第二相似性值的和超过第二预设阈值，则确定该两张图像中的行人为同一行人；如果否，则可以确定该两张图像中的行人为不同的人。

例如，该两张图像分别为第一图像和第二图像，第一图像的非结构化特征为第二图像的非结构化特征为

可能的一种实施例，根据第一图像的非结构化特征以及第二图像的非结构化特征，使用余弦距离公式，确定该两张图像的第二相似性值。

另外一种可能的实施方式，根据第一图像的非结构化特征以及第二图像的非结构化特征，使用欧式距离公式，确定该两张图像的第二相似性值。其中，确定第二相似性值的过程为现有技术，在本发明实施例中，对该过程不作赘述。

为了更加准确的判断两张图像中的行人是否为同一个人，判断两张图像的第一相似性值以及第二相似性值的和，是否超过第二预设阈值，如果是，则确定该两张图像中的行人为同一个人，如果否，则确定该两张图像中的行人为不同的人。

例如，针对两张图像，第一图像与第二图像计算的第一相似性值为S₁，第一图像与第二图像计算的第二相似性值为S₂，第二预设阈值为T。

可能的一种实施方式为，根据以下公式：S＝S₁+S₂，确定该两张图像的第一相似性值及第二相似性值的和。若S＞T，则确定两张图像中的行人为同一个人；若S≤T，则确定两张图像中的行人为不同的人。

另外一种可能的实施方式为，针对求得的第一相似性值和第二相似性值进行加权平均，获取该两张图像的第一相似性值及第二相似性值的和。具体的，可以根据以下公式：S＝w₁*S₁+w₂*S₂，确定该两张图像的第一相似性值及第二相似性值的和。若S＞T，则确定两张图像中的行人为同一个人；若S≤T，则确定两张图像中的行人为不同的人。

实施例3：

为了准确的确定第一相似性值，在上述各实施例的基础上，在本发明实施例中，所述根据该两张图像中的行人属性特征，确定该两张图像的第一相似性值包括：

根据以下公式：确定第一相似性值，其中，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

为了准确的确定两张图像的行人是否为同一个人，在本发明实施例中，根据上述过程中提取到的两张图像的行人属性特征，通过对比该两张图像的行人属性特征中的每一维的属性特征，确定该两张图像的第一相似性值。其中，行人属性特征是一个多维的特征向量，每一维均代表一个属性特征，具体的，对比第一图像的行人属性特征的第一维属性特征的值，与第二图像的行人属性特征的第一维属性特征的值，如果相等，则得到第一数值，否则得到第二数值；第一图像的行人属性特征的第二维属性特征的值，与第二图像的行人属性特征的第二维属性特征的值，如果相等，则得到第一数值，否则得到第二数值，其中，第一数值大于第二数值，较佳的，第一数值为1，第二数值为0；依次进行对比，根据对比的结果，确定该两张图像的第一相似性值。该第一相似性值越大，则该两张图像中的行人为同一个人的可能性就越大。

具体的，根据两张图像的行人属性特征，按照以下公式：确定两张图像的第一相似性值。其中，I为指示性函数，具体的，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

其中，各维属性特征的权重可以按照该属性特征的重要性进行设置。例如，该属性特征为性别，则该属性特征所起的作用与其他属性特征(如衣服颜色)相比，该属性特征所占的权重应该比其他属性特征的权重大，且w¹+w²+...+wⁿ＝1。

在本发明实施例中，所述行人属性特征包括以下至少一种：

性别，衣服颜色，衣服款式，发型。

如果属性特征包括性别、衣服颜色、衣服款式、发型，则根据该四个属性特征可以确定每一张图像的行人属性特征。例如，每一张图像的行人属性特征的第一维属性特征为性别，第二维属性特征为衣服颜色，第三维属性特征为衣服款式，第四维属性特征为发型。预先设置好属性特征与属性特征值的对应关系，例如，当性别为男时，该属性特征的值为0，性别为女时，该属性特征的值为1；当衣服颜色为黑色时，该属性特征的值为0，衣服颜色为白色时，该属性特征的值为1，衣服颜色为黄色时，该属性特征的值为2等；当衣服款式为短款时，该属性特征的值为0，当衣服款式为长款时，该属性特征的值为1，当衣服款式为中长款时，该属性特征的值为2；当发型为短发时，该属性特征的值为0，当发型为长发时，该属性特征的值为1。

例如，针对两张图像，该两张图像分别为第一图像和第二图像。其中，当识别到第一图像中的行人的性别为男，衣服颜色为黑色，衣服款式为短款，发型为短发，则该第一图像的第一维属性特征的值为0，第二维属性特征为1，第三维属性特征为0，第四维属性特征为0；第二图像的性别为女，衣服颜色为黑色，衣服款式为长款，发型为长发，则该第二图像的第一维属性特征的值为1，第二维属性特征为1，第三维属性特征为1，第四维属性特征为1。各维属性特征的权重分别设置为：0.4，0.2，0.3，0.1。则该两张图像的第一相似性值为则该两张图像的第一相似性值为0.2。若第二预设阈值设置为0.8，则该两张图像中的行人为不同的人。

实施例4：

为了对新输入的图像提取该图像中的行人属性特征，因此在计算该图像与其他图像的第一相似性值之前还包括训练过程，在上述各实施例的基础上，在本发明实施例中，所述预先训练第一卷积神经网络模型的过程包括：

获取样本图像，其中所述样本图像中标注了图像中行人的行人属性特征中每一维属性特征的值；

将每个样本图像输入到第一卷积神经网络模型中，根据每个第一卷积神经网络模型的输出，对所述卷积神经网络模型进行训练。

由于该第一卷积神经网络模型的目的是为了提取包含行人的图像中的行人的行人属性特征。因此在对该第一卷积神经网络模型进行训练之前，首先需要对图像进行标注，获取样本图像。具体的，在每个样本图像中标注了行人的行人属性特征。

具体实施中，每次输入一定数量的批量样本图像，采用前向传播、反向传播和权重更新等步骤对模型的参数进行更新。具体的训练过程：网络进行权值的初始化；输入样本图像经过卷积层、池化层的向前传播得到输出值；求出网络的输出值与目标值之间的误差；当误差大于期望值时，将误差传回网络中，依次求出各层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于期望值时，训练结束；根据求得误差进行权值更新。不断输入批量样本图像重复以上步骤，不断调整参数，修正网络输出与期望值的误差，最后获得最优化的网络参数，即训练完成的第一卷积神经网络模型。

实施例5：

图2为本发明实施例提供的一种基于行人重识别方法的行人运动轨迹生成方法的过程示意图，该过程包括以下步骤：

S201：在监控视频中获取每个行人的运动轨迹。

根据拍摄的监控视频，首先采用基于深度卷积神经网络的行人检测算法，如YOLO或SSD算法等，在检测完成后利用基于深度卷积神经网络的目标跟踪算法，得到监控视频中每个行人的运动轨迹。在具体实施过程中，可以将基于深度卷积神经网络的行人检测算法和基于深度卷积神经网络的目标跟踪算法集成在前端摄像头中。

在获取监控视频中的行人轨迹之前，首先，可以在监控区域内预先标定一些位置坐标，并且得到其对应的像素坐标，由此可以得到投影矩阵。根据该投影矩阵，视频里的任一像素坐标就可以映射回统一世界坐标。

其中，根据预先标定的位置坐标，确定投影矩阵的过程为现有技术，在本发明实施例中，对该过程不作赘述。

S202：针对获取的任一段运动轨迹，按照预设规则，在该段运动轨迹对应的视频图像中选取包含行人的图像。

由于遮挡、光照变化等因素，同一个人在同一个视频中可能会出现跟踪失败的情况，即可能出现的情形为，同一个人在同一个监控视频中有多段分离的运动轨迹。为了解决该问题，在得到监控视频中的运动轨迹之后，针对任意一段运动轨迹，可以基于预设规则，在该段运动轨迹中，选取一些高质量、各视角的图像，并且记录其对应的时间信息和基于三维重建得到的真实世界空间坐标，具体的，可表示为{P_i|P_i＝((x_i,y_i,w_i,h_i),t_i,(X_i,Y_i,Z_i))}，其中，x_i,y_i,w_i,h_i分别表示该图像中在原视频中的位置和宽高，t_i表示该图像的时间信息，(X_i,Y_i,Z_i)表示基于投影矩阵得到的真实世界的空间坐标。其中，在具体实施过程中，该预设规则可以考虑的因素可以包括图像的亮度、对比度、边缘以及视角等信息，或者也可以是任意选取几张包含行人的图像，针对每段运动轨迹选取的图像数量可以相同，也可以不同。

S203：针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对；针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征；根据提取到的行人属性特征，确定该图像对的第一相似性值；如果至少一个第一相似性值超过预设阈值，则将该两段运动轨迹确定为同一行人的运动轨迹。

通过预设规则，在每段运动轨迹中选取包含行人的图像之后，针对任意两段运动轨迹对应的图像，将其中一段运动轨迹对应的图像中任意一张图像，与另一段运动轨迹对应的图像中的每一张组合构成图像对，从而得到该两段运动轨迹对应的所有图像对。

例如，两段运动轨迹分别为第一段运动轨迹和第二段运动轨迹，按照预设规则，分别针对该两段运动轨迹提取了8张图像，具体为，针对第一段运动轨迹提取的8张图像为图像1，图像2，图像3，...，图像8；针对第二段运动轨迹提取的8张图像为图像11，图像22，图像33，...，图像88；则第一段运动轨迹与第二段运动轨迹确定的图像对的共有64对，具体为，图像1与图像11，图像1与图像22等等。

针对确定的每个图像对，将该图像对中的每张图像分别输入到训练完成的第一卷积神经网络模型，分别提取两张图像中的行人属性特征。其中，在具体实施过程中，预先训练好的第一卷积神经网络模型可以集成在后台服务器中。提取完两张图像的行人属性特征之后，根据该两张图像的行人属性特征，确定该图像对的第一相似性值。

确定了所有图像对的第一相似性值之后，判断是否至少一个第一相似性值超过预设阈值，如果是，则可以确定该两段轨迹为同一个行人的运动轨迹；如果否，则可以确定该两段轨迹为不同行人的运动轨迹。

在具体实施过程中，生成的每段运动轨迹均包含一个标识信息，该标识信息用于对其余运动轨迹进行区分。若确定两段运动轨迹为同一个行人的运动轨迹，则可以将该两段运动轨迹的标识信息确定为相同的标识信息。例如，经过使用目标跟踪算法后得到第一段运动轨迹的标识信息为A，第二段运动轨迹的标识信息为B，在经过上述的第一相似性值计算后，若确定该两段运动轨迹为同一行人的运动轨迹，则可以将该两段运动轨迹的标识信息重新确定为相同的标识信息。在具体实施过程中，可能的一种实施方式，可以将第一运动轨迹的标识信息确定为B；另外一种可能的实施方式为，可以将第二运动轨迹的标识信息确定为A。

在本发明实施例中，针对两段运动轨迹，通过判断该两段运动轨迹中的图像的第一相似性值，从而判断该两段运动轨迹是否为同一行人的运动轨迹。可以更加准确的得到行人的完整运动轨迹。

为了更好的判断两段运动轨迹是否为同一行人的，还可以提取每张图像的非结构化特征，提取每张图像的非结构化特征的过程详见上述实施例2的描述，在本发明实施例中，对该过程不作赘述。

具体的，根据每张图像的非结构化特征和行人属性特征，计算图像对中两张图像的相似性值时，按照以下公式进行计算：式中，为两张图像的相似性值，S_i,j表示为两张图像的非结构化特征根据欧氏距离公式或者余弦距离公式计算得到的初始相似值；I是指示性函数，具体的，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

在判断完所有运动轨迹之后，若想得到行人的完整运动轨迹，可以在判断完任意两段轨迹中的行人是否为同一个人之后，针对同一个人的多段运动轨迹，按照时间信息，对同一个人的多段运动轨迹进行连接。具体的，针对行人A的轨迹共有3段，分别为轨迹1、轨迹2以及轨迹3。轨迹1的起始时间为终止时间为其中轨迹2的起始时间为终止时间为其中轨迹3的起始时间为终止时间为其中并且轨迹3的起始时间大于轨迹2的终止时间，轨迹2的起始时间大于轨迹1的终止时间。则该三段轨迹的连接顺序为，从轨迹1到轨迹2再到轨迹3。

其中，进行运动轨迹连接的过程为现有技术，在本发明实施例中，对该过程不作赘述。

获取完在单个摄像机内拍摄的监控视频内的完整运动轨迹后，将行人最后离开该视频的坐标映射到真实世界三维空间，并且基于当前摄像机内该行人的运动方向，确定该行人可能出现的下一个区域。

在确定完该行人可能出现的下一个区域后，获取该区域的摄像头拍摄的监控视频。为了将两个监控视频中的同一个行人的运动轨迹进行连接，首先需要生成该监控视频内的行人的完整运动轨迹，具体的，可以根据上述实施例5描述的行人运动轨迹生成方法，生成该监控视频内的行人的完整运动轨迹。针对两个监控视频中的运动轨迹，若想确定该两个监控视频中的运动轨迹是否为同一个人的运动轨迹，且可以连接该同一个人的运动轨迹，可以针对两个监控视频中的任一运动轨迹，根据上述实施例描述5的行人运动轨迹生成方法，判断是否存在同一个人的运动轨迹。例如，如图3所示的两个监控视频中的两段运动轨迹，若要判断监控视频A中的轨迹1和监控视频B中的轨迹2，是否为同一个人的运动轨迹，则可按照上述实施例描述5的行人运动轨迹生成方法，进行轨迹1和轨迹2的判断，根据判断的结果，最后得到该行人的完整运动轨迹。

如图4所示为确定行人的完整运动轨迹的过程示意图，包括以下步骤：

S401：通过相机标定，计算投影矩阵。

S402：针对单个摄像机拍摄的监控视频，通过使用行人检测算法和目标跟踪算法，得到监控视频内的每段运动轨迹。

S403：针对获取的任一段运动轨迹，按照预设规则，在该段行人轨迹对应的视频图像中选取包含行人的图像。

S404：针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中，每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对。针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征。根据提取到的该两张图像的行人属性特征，确定该图像对的第一相似性值。如果至少一个第一相似性值超过预设阈值，则将该两段轨迹进行连接。

按照上述方法确定单个摄像机拍摄的监控视频中所有行人的完整运动轨迹。

针对单个摄像机中的所有行人，或者针对某个特定行人，进行以下操作。

S405：基于所有行人或者特定行人的历史轨迹信息，推断出可能的运动方向，并据此确定搜索区域。

获取完在单个摄像机内拍摄的监控视频内的完整运动轨迹后，将行人最后离开该视频的坐标映射到真实世界三维空间，并且基于当前摄像机内该行人的运动方向，确定该行人可能出现的下一个区域。

S406：在确定完行人可能出现的下一个区域后，获取该区域的摄像头拍摄的监控视频。按照上述实施例5描述的行人运动轨迹生成方法生成该监控视频内的行人的运动轨迹。针对两个监控视频中的运动轨迹，若想确定该两个监控视频中的运动轨迹是否为同一个人的运动轨迹，且可以连接该同一个人的运动轨迹，可以针对两个监控视频中的任一运动轨迹，根据上述实施例描述5的行人运动轨迹生成方法，判断是否存在同一个人的运动轨迹，最后将同一个人的运动轨迹进行连接，生成行人的完整运动轨迹。

实施例6：

图5为本发明实施例提供的一种行人重识别装置，该装置包括：

选取模块501，用于在监控视频中选取包含行人的图像；

第一输入提取模块502，用于针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；

第一确定模块503，用于针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似性值；

判断模块504，用于针对任意一第一相似性值，判断该第一相似性值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。

进一步地，所述装置还包括：

第二输入提取模块505，用于将该图像输入到预先训练完成的第二卷积神经网络模型中，提取该图像中行人的非结构化特征；

第二确定模块506，用于针对任意两张图像，根据该两张图像的非结构化特征，确定该两张图像的第二相似性值；

所述判断模块504，具体用于判断该两张图像的第一相似性值及第二相似性值的和是否超过预设阈值。

进一步地，所述第一确定模块503，具体用于根据以下公式：

确定第一相似性值，其中，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

进一步地，所述装置还包括：

训练模块507，用于获取样本图像，其中所述样本图像中标注了图像中行人的行人属性特征中每一维属性特征的值；将每个样本图像输入到第一卷积神经网络模型中，根据每个第一卷积神经网络模型的输出，对所述卷积神经网络模型进行训练。

实施例7：

图6为本发明实施例提供的一种行人运动轨迹生成装置，该装置包括：

获取模块601，用于在监控视频中获取每个行人的运动轨迹；

选取模块602，用于针对获取的任一段运动轨迹，按照预设规则，在该段运动轨迹对应的视频图像中选取包含行人的图像；

确定模块603，用于针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对；针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征；根据提取到的行人属性特征，确定该图像对的第一相似性值；如果至少一个第一相似性值超过预设阈值，则将该两段运动轨迹确定为同一行人的运动轨迹。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种行人重识别方法，其特征在于，所述方法包括：

在监控视频中选取包含行人的图像；

针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；

针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似性值；

针对任意一第一相似性值，判断该第一相似性值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。

2.如权利要求1所述的方法，其特征在于，所述提取该图像中的行人属性特征之后，所述方法还包括：

将该图像输入到预先训练完成的第二卷积神经网络模型中，提取该图像中行人的非结构化特征；

所述判断该第一相似值是否超过预设阈值之前，所述方法还包括：

针对任意两张图像，根据该两张图像的非结构化特征，确定该两张图像的第二相似性值；

判断该第一相似性值是否超过预设阈值包括：

判断该两张图像的第一相似性值及第二相似性值的和是否超过预设阈值。

3.如权利要求1或2所述的方法，其特征在于，所述根据该两张图像中的行人属性特征，确定该两张图像的第一相似性值包括：

根据以下公式：确定第一相似性值，其中，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

4.如权利要求1所述的方法，其特征在于，所述行人属性特征包括以下至少一种：

性别，衣服颜色，衣服款式，发型。

5.如权利要求1所述的方法，其特征在于，所述预先训练第一卷积神经网络模型的过程包括：

获取样本图像，其中所述样本图像中标注了图像中行人的行人属性特征中每一维属性特征的值；

将每个样本图像输入到第一卷积神经网络模型中，根据每个第一卷积神经网络模型的输出，对所述卷积神经网络模型进行训练。

6.一种基于如权利要求1-5任一项所述的行人重识别方法的行人运动轨迹生成方法，其特征在于，所述方法包括：

在监控视频中获取每个行人的运动轨迹；

针对获取的任一段运动轨迹，按照预设规则，在该段运动轨迹对应的视频图像中选取包含行人的图像；

针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对；针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征；根据提取到的行人属性特征，确定该图像对的第一相似性值；如果至少一个第一相似性值超过预设阈值，则将该两段运动轨迹确定为同一行人的运动轨迹。

7.一种行人重识别装置，其特征在于，所述装置包括：

选取模块，用于在监控视频中选取包含行人的图像；

第一输入提取模块，用于针对选取的任一图像，将该图像输入到预先训练完成的第一卷积神经网络模型中，提取该图像中的行人属性特征；

第一确定模块，用于针对任意两张图像，根据提取到的该两张图像中的行人属性特征，确定该两张图像的第一相似性值；

判断模块，用于针对任意一第一相似性值，判断该第一相似性值是否超过预设阈值，如果是，则该第一相似性值对应的两张图像中的行人为同一个人。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

第二输入提取模块，用于将该图像输入到预先训练完成的第二卷积神经网络模型中，提取该图像中行人的非结构化特征；

第二确定模块，用于针对任意两张图像，根据该两张图像的非结构化特征，确定该两张图像的第二相似性值；

所述判断模块，具体用于判断该两张图像的第一相似性值及第二相似性值的和是否超过预设阈值。

9.如权利要求7或8所述的装置，其特征在于，所述第一确定模块，具体用于根据以下公式：

确定第一相似性值，其中，为当第一图像的行人属性特征中第n维属性特征的值attr_i ⁿ，与第二图像的行人属性特征中第n维属性特征的值相等时，值为1，否则为0，wⁿ为行人属性特征中第n维属性特征对应的权重。

10.如权利要求7所述的装置，其特征在于，所述装置还包括：

训练模块，用于获取样本图像，其中所述样本图像中标注了图像中行人的行人属性特征中每一维属性特征的值；将每个样本图像输入到第一卷积神经网络模型中，根据每个第一卷积神经网络模型的输出，对所述卷积神经网络模型进行训练。

11.一种行人运动轨迹生成装置，其特征在于，所述装置包括：

获取模块，用于在监控视频中获取每个行人的运动轨迹；

选取模块，用于针对获取的任一段运动轨迹，按照预设规则，在该段运动轨迹对应的视频图像中选取包含行人的图像；

确定模块，用于针对任意两段运动轨迹对应的图像，确定该两段运动轨迹对应的每个图像对，其中每个图像对中包含的两张图像分别对应于该两段运动轨迹，且该两段运动轨迹中每一段运动轨迹对应的任一图像都与另一运动轨迹对应的任一图像构成了图像对；针对每个图像对，将该图像对中的两张图像分别输入到预先训练完成的第一卷积神经网络模型中，提取该两张图像中的行人属性特征；根据提取到的行人属性特征，确定该图像对的第一相似性值；如果至少一个第一相似性值超过预设阈值，则将该两段运动轨迹确定为同一行人的运动轨迹。