CN113963399A - 基于多算法融合应用的人员轨迹检索方法及装置 - Google Patents

Abstract

本发明提供了一种基于多算法融合应用的人员轨迹检索方法及装置，该方法包括以下步骤：对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；提取检索目标人员的特征信息，根据检索目标人员的特征信息采用对应的识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录并取并集，得到检索目标人员的轨迹信息；根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。本发明能解决多种复杂场景下的人员检索问题。

Description

基于多算法融合应用的人员轨迹检索方法及装置

技术领域

本发明涉及行人轨迹检索技术领域，尤其涉及一种基于多算法融合应用的人员轨迹检索方法及装置。

背景技术

随着人脸识别、视频结构化等目标识别算法在***中的普遍建设与使用，其应用不足也随之出现——远距离、角度不当、衣着变化、面部遮挡、光照影响、视频分辨率不高、距离较远、伪装等环境及人为因素均会影响识别效能，对应的弥补人脸识别技术不足的一些技术也应运而生，比如步态识别、行人重识别技术等。

对行人进行轨迹检索，传统的方式均是通过单一技术进行人员的轨迹检索，但单一的技术手段均存在各自的局限性，已无法满足复杂场景的应用需求，无法获得行人完整的轨迹，比如人脸遮挡或戴口罩的情况下，无法应用人脸检索；跨天或人员变换服装的情况下，无法应用行人重识别进行轨迹检索等。单一的图片，无法获取完整的步态信息，无法应用步态识别进行轨迹检索。故而多算法的融合应用，能够充分利用各自算法的优势，弥补单一算法的不足，成为未来的发展趋势。而传统的多算法融合应用，更多的是通过用户手动将多算法进行结合使用，***无法自动化的进行目标行人的轨迹融合。故而，如何进行多算法的融合，并形成融合后的完整轨迹，成为多算法融合应用的难点。

发明内容

为解决现有技术存在的上述至少部分问题，本发明提供一种基于多算法融合应用的人员轨迹检索方法及装置。

本发明是这样实现的：

一方面，本发明提供一种基于多算法融合应用的人员轨迹检索方法，包括以下步骤：

S1、对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；

S2、根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；

S3、根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。

进一步地，所述步骤S1中，对视频流或者图片流中的人脸特征信息进行提取具体包括：

使用MTCNN网络对每一帧视频数据或者每个图片进行人脸目标检测；

使用训练好的人脸特征提取模型对检测到的人脸目标进行人脸特征提取，获取人脸特征信息；

其中，所述人脸特征提取模型的训练方法如下：

采集海量视频监控场景下的人脸照片，进行标注，并划分为训练集、验证集和测试集；

构建改进的faceNet模型，其中faceNet主干网络采用Inception-v4网络和residual connection，在损失函数的选择上，分别计算softmax loss和triplet_loss，再对softmax loss和triplet_loss进行加权，在线调整权值；

使用训练集对改进的faceNet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人脸特征提取模型。

进一步地，所述步骤S1中，对视频流中的人脸特征信息进行提取还包括：

进行人脸目标检测之后，使用DeepSort对检测到的人脸目标进行跟踪，并进行运动目标检测；

使用训练好的人脸正脸判定模型对跟踪输出的人脸目标进行人脸正脸判定并输出判定的人脸正脸数据；

使用训练好的人脸特征提取模型对输出的人脸正脸数据进行人脸特征提取，获取人脸特征信息。

进一步地，所述步骤S1中，对视频流或者图片流中的人体特征信息进行提取具体包括：

使用训练好的yolov5目标检测模型对每一帧视频数据或者每个图片进行行人目标检测；

使用训练好的人体特征提取模型对检测到的行人目标进行人体特征提取，获取人体特征信息；

其中，所述人体特征提取模型的训练方法如下：

采集并构建视频监控场景下多个行人序列数据集，采集不同的行人目标在多个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；

构建改进的行人FastReID模型，主干采用基于自适应间隔排序损失的多尺度多部件融合深度网络，将行人图像特征表达与相似性度量联合学习；

在数据预处理阶段，对数据进行下采样；

使用训练集对改进的行人FastReID模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人体特征提取模型。

进一步地，所述步骤S1中，对视频流中的人体特征信息进行提取还包括：

进行行人目标检测之后，使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；

使用训练好的行人质量评估模型对跟踪输出的行人目标进行行人质量评估，将质量最佳的行人目标作为特写图进行输出；

使用训练好的人体特征提取模型对输出的质量最佳的行人目标进行人体特征提取，获取人体特征信息。

进一步地，所述步骤S1中，对视频流中的步态特征信息进行提取的步骤如下：

使用训练好的yolov5目标检测模型对每一帧视频数据进行行人目标检测；

使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；

使用训练好的deeplabv3+分割模型对跟踪输出的行人序列进行步态分割，输出黑白轮廓序列图；

使用训练好的步态特征提取模型对步态分割输出的黑白轮廓序列图进行步态特征提取；

其中，所述步态特征提取模型的训练方法如下：

采集并构建视频监控场景下多个行人序列数据集，采集不同的行人目标在多个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；

构建改进的GaitSet模型；主干网络在开始增加一个CNN模块，在网络的最后两层新增MDFG和GMCM模块；

在数据预处理阶段，训练数据通过随机水平翻转和随机拼图的方法进行数据增强；

使用训练集对改进的GaitSet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的步态特征提取模型。

进一步地，所述步骤2中，当一条行人记录中既进行了人脸特征信息的比对，又进行了人体特征信息或者步态特征信息的比对时，以人脸特征信息的比对结果为准。

进一步地，所述步骤S2中，当根据检索目标人员的视频片段或图片提取的检索目标人员的特征信息中不包含人脸特征信息、人体特征信息、步态特征信息中的某一种特征信息时，利用检索得到的行人记录中的该种特征信息，在路人库中进行检索，找到该种特征信息对应的各条行人记录。

进一步地，所述步骤S3之后还包括：

计算检索目标人员的轨迹中每相邻两个点位之间路程的平均速度，选择平均速度超出30km/s的路段作为异常路段，分别计算该异常路段两侧点位的算法识别概率，选择概率较低的点位作为最终异常点位，并将其从轨迹中剔除，其中点位x_t的算法识别概率P(x_t)的计算方法如下：

其中M₁,M₂,M₃分别表示人脸识别算法、行人重识别算法、步态识别算法， P(M_i)表示算法M_i的识别准确率，P(x_t|M_i)表示在算法M_i下点位x_t处识别的人员为检索目标人员的概率。

另一方面，本发明还提供一种基于多算法融合应用的人员轨迹检索装置，包括：

行人特征信息提取及存储模块，用于对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；

轨迹检索模块，用于根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；

轨迹展现模块，用于根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。

与现有技术相比，本发明具有以下有益效果：

本发明提供的这种基于多算法融合应用的人员轨迹检索方法及装置，能解决远距离、角度不当、衣着变化、面部遮挡、光照影响、视频分辨率不高、距离较远、伪装等复杂场景下的人员检索问题；本发明能够将人脸识别、行人重识别、步态识别三种算法进行融合应用，自动对同一目标人员的轨迹进行连接与融合，弥补单一算法的不足，充分利用各算法的优势进行融合应用，实现人员的轨迹检索，能够获取到人员更为完整的轨迹信息，扩大应用场景。

附图说明

图1为本发明实施例提供的一种基于多算法融合应用的人员轨迹检索方法的流程图；

图2为本发明实施例提供的步态特征提取模型的网络结构示意图；

图3为本发明实施例提供的一种基于多算法融合应用的人员轨迹检索装置的方框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种基于多算法融合应用的人员轨迹检索方法，包括以下步骤：

S1、对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，当不满足提取对应特征信息的条件时，则不提取该特征信息，例如对图片流无法提取步态特征信息，则对图片流中的行人不提取步态特征信息。将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中，每条行人记录生成唯一人员ID信息。

具体地，所述步骤S1中，对视频流或者图片流中行人的各种特征信息分别进行提取，其中，对图片流中的人脸特征信息进行提取的步骤如下：

使用MTCNN网络对各图片进行人脸目标检测；

使用训练好的人脸特征提取模型对检测到的人脸目标进行人脸特征提取，获取128维度的人脸特征信息。

进一步地，所述步骤S1中，对视频流中的人脸特征信息进行提取的步骤如下：

使用MTCNN网络对每一帧视频数据进行人脸目标检测；

使用DeepSort对检测到的人脸目标进行跟踪，并进行运动目标检测；

使用训练好的人脸正脸判定模型对跟踪输出的人脸目标进行人脸正脸判定并输出判定的人脸正脸数据；

使用训练好的人脸特征提取模型对输出的人脸正脸数据进行人脸特征提取，获取128维度的人脸特征信息。

通过对人脸进行检测与跟踪，确保同一个目标行人只获取其中一张最优的人脸图片。

优选地，上述两个人脸特征信息提取的过程中采用的人脸特征提取模型的训练方法如下：

采集海量视频监控场景下的人脸照片，进行标注，并划分为训练集、验证集和测试集；

构建改进的faceNet模型，其中faceNet主干网络采用Inception-v4网络和residual connection，在损失函数的选择上，分别计算softmax loss和triplet_loss，再对softmax loss和triplet_loss进行加权，在线调整权值；

使用训练集对改进的faceNet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人脸特征提取模型。

上述人脸特征提取模型的训练方法中，通过构建了改进的faceNet模型，对主干网络和损失函数进行了优化，拉开了目标类别之间的差距，加快了训练速度，增强了人脸特征的鲁棒性。

进一步地，所述步骤S1中，对图片流中的人体特征信息进行提取的步骤如下：

使用训练好的yolov5目标检测模型对各图片进行行人目标检测；

使用训练好的人体特征提取模型对检测到的行人目标进行人体特征提取，获取2048维度的人体特征信息。

进一步地，所述步骤S1中，对视频流中的人体特征信息进行提取的步骤如下：

使用训练好的yolov5目标检测模型对每一帧视频数据进行行人目标检测；

使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；

使用训练好的行人质量评估模型对跟踪输出的行人目标进行行人质量评估，将质量最佳的行人目标作为特写图进行输出；

使用训练好的人体特征提取模型对输出的质量最佳的行人目标进行人体特征提取，获取2048维度的人体特征信息。

通过对行人目标进行检测与跟踪，确保同一个目标行人只获取其中一张最优的行人人体图片。

优选地，上述两个人体特征提取的过程中采用的人体特征提取模型的训练方法如下：

采集并构建视频监控场景下1000行人序列数据集，采集不同的行人目标在 5个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；

构建改进的行人FastReID模型，主干采用基于自适应间隔排序损失的多尺度多部件融合深度网络，将行人图像特征表达与相似性度量联合学习；

在数据预处理阶段，在已有的预处理上，对数据进行下采样，以丰富数据的多维性，减少模型对数据的敏感；

使用训练集对改进的行人FastReID模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人体特征提取模型。

上述人体特征提取模型的训练方法中，对数据集进行了多样化的预处理，丰富了数据的多样性，多维性，减少了模型对数据的敏感；构建了改进的行人FastReID模型，主干采用基于自适应间隔排序损失的多尺度多部件融合深度网络，将行人图像特征表达与相似性度量联合学习，增强了行人特征的鲁棒性，极大的提高了行人比对和识别的精度。

进一步地，所述步骤S1中，对视频流中的步态特征信息进行提取的步骤如下：

使用训练好的yolov5目标检测模型对每一帧视频数据进行行人目标检测；

使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；

使用训练好的deeplabv3+分割模型对跟踪输出的行人序列进行步态分割，输出黑白轮廓序列图，并将轮廓图大小裁剪为64*64；

使用训练好的步态特征提取模型对步态分割输出的黑白轮廓序列图进行步态特征提取。

优选地，上述步态特征提取的过程中采用的步态特征提取模型的训练方法如下：

采集并构建视频监控场景下1000行人序列数据集，采集不同的行人目标在 5个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；

构建改进的GaitSet模型，参见图2所示，主干网络在开始增加一个CNN 模块，通道数增加到256，可以获得和提取更多的信息；在网络的最后两层新增 MDFG和GMCM模块，MDFG模块用来在不同的区域产生视觉线索，以进行细粒度的特征学习，GMCM模块更新了有的聚合策略，将帧级的全局信息特征向量映射到特征向量中。

在数据预处理阶段，训练数据通过随机水平翻转和随机拼图的方法进行数据增强，以增强模型的鲁棒性；

使用训练集对改进的GaitSet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的步态特征提取模型。

上述步态特征提取模型的训练方法中，构建了改进的GaitSet模型，增加了一个卷积神经网络模块(CNN)、一个目标细粒度学习模块(MDFG)、一个聚合策略更新模块(GMCM)，极大的提高了步态特征的鲁棒性，拉开了不同目标步态特征之间的差距，提高了步态识别的精度。

S2、根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，提取的检索目标人员的特征信息同样包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；

上述比对过程具体包括：

采用人脸识别算法，将检索目标人员的人脸特征信息与路人库中的人脸特征信息进行比对，找出人脸特征信息相似度大于设定阈值的行人记录，记录其对应的人员ID信息及相似度，设置为集合L1；

采用行人重识别算法，将检索目标人员的人体特征信息与路人库中的人体特征信息进行比对，找出人体特征信息相似度大于设定阈值的行人记录，记录其对应的人员ID信息及相似度，设置为集合L2；

采用步态识别算法，将检索目标人员的步态特征信息与路人库中的步态特征信息进行比对，找出步态特征信息相似度大于设定阈值的行人记录，记录其对应的人员ID信息及相似度，设置为集合L3。

优选地，所述步骤S2中，当一条行人记录中既进行了人脸特征信息的比对，又进行了人体特征信息或者步态特征信息的比对时，考虑到人脸识别较为成熟，精度较高，以人脸特征信息的比对结果为准。

优选地，所述步骤S2中，当根据检索目标人员的视频片段或图片提取的检索目标人员的特征信息中不包含人脸特征信息、人体特征信息、步态特征信息中的某一种特征信息时，利用检索得到的行人记录中的该种特征信息，在路人库中进行检索，找到该种特征信息对应的各条行人记录。

上述过程完成之后，将以上三组人员ID信息取并集，L＝L1UL2UL3，则L 即为检索目标人员初筛的轨迹信息，该轨迹信息，包括人员的ID信息、摄像头点位信息、抓拍时间，还可以包括对应人员图片、步态序列图、相似度等信息。

S3、根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。

具体地，根据获取的检索目标人员轨迹信息，在GIS地图上，按照时间先后顺序将对应记录的摄像头点位进行连接，并展示对应点位该目标人员的图片信息，即为该人员完整的轨迹信息，还可以展示步态序列图、相似度等信息。

考虑到现阶段行人重识别算法、步态识别算法的成熟度还不及人脸识别算法，识别精度还不是特别高，通过结合轨迹中的时空信息以及算法的识别精度来综合分析，将轨迹Trac中部分异常轨迹点位进行剔除，可以对轨迹Trac进一步进行有效性筛选。

在实际情况中，可通过计算轨迹中临近节点的人员平均速度来判断该节点在人员轨迹中存在的合法性，针对人员轨迹在网络G中任意两个相邻节点x_i,x_i+1之间的距离长度表示为S(x_i,x_i+1)，人员在x_i,x_i+1之间中的平均速度可表示为：

作为优选地，所述步骤S3之后还包括：

计算检索目标人员的轨迹中每相邻两个点位之间路程的平均速度v_i,i+1，选择平均速度超出30km/s的路段作为异常路段，分别计算该异常路段两侧点位的算法识别概率，选择概率较低的点位作为最终异常点位，并将其从轨迹中剔除，

在检索目标人员轨迹Trac中t时刻所在点位x_t，均存在点位x_t的概率由 M₁,M₂,M₃共同确认，点位x_t的算法识别概率P(x_t)按照全概率公式为：

其中M₁,M₂,M₃分别表示人脸识别算法、行人重识别算法、步态识别算法， P(M_i)表示算法M_i的识别准确率，P(x_t|M_i)表示在算法M_i下点位x_t处识别的人员为检索目标人员的概率(即相似度值)。

本发明在多算法的轨迹融合的基础上，通过综合分析各算法的时空信息，能够有效的过滤掉因部分算法识别精度不高而误检的行人，确保行人轨迹的相对准确性，减少用户手动筛查的时间投入。

下面通过一个具体的实施例对本发明实施例的基于多算法融合应用的人员轨迹检索方法进行说明。

设置N＝90天，重点路段中的摄像头点位为X1、X2、X3……XN。开启分析任务，对视频流或者图片流进行人员检测与跟踪，并提取行人特征信息，包括：人脸特征信息、人体特征信息、步态特征信息。每一个行人的特征信息至少包含这三种特征信息中的一种。形成路人库，并生成唯一人员ID信息。其中， N可以根据实际情况进行调大或者调小，待分析的摄像头点位根据当地实际情况进行配置。

假设有人员在2021-6-2811:01:01经过摄像头X1，该摄像头下可获取清晰的人脸、人体及步态信息。

假设有人员在2021-6-2811:11:01经过摄像头X2，该摄像头下可获取人体及步态信息，但无法获得清晰的人脸信息。

假设有人员在2021-6-2811:21:01经过摄像头X3，该摄像头下可获取人脸及人体信息，因经过时间太短而无法获取完整步态信息。

假设有人员在2021-6-299:21:01经过摄像头X4，该摄像头下可获取清晰的人脸、人体及步态信息。

将以上获取的所有行人对应的特征信息，进行存储。主键记录人员编号，人员具体信息列表如下：

对检索目标人员在时间范围为【2021-6-2800:00:00】至【2021-6-29 12:59:59】期间的轨迹进行检索。假设检索目标人员图片信息，对应记录为ID1，检索其轨迹信息。

通过人脸识别算法，将人员ID1的人脸特征RL1与人员列表的其它人员的人脸特征进行相似度比对，得到满足设定阈值的人员编号，假设ID3满足阈值要求，即L1＝{ID1、ID3}。

通过行人重识别算法，将人员ID1的人体特征与人员列表中的其它人员的人体特征进行相似度比对，得到满足设定阈值的人员编号，假设ID2、ID3满足要求，即L2＝{ID1、ID2、ID3}。通过步态识别算法，将人员ID1的步态特征与人员列表中的其它人员的步态特征进行相似度比对，得到满足设定阈值的人员编号，假设ID4满足阈值要求，即L3＝{ID1、ID4}。

对以上三组集合取并集，得出人员ID1的轨迹L＝L1∪l2∪L3＝{ID1、ID2、 ID3、ID4}。

进一步的，对轨迹L中的异常点位进行筛除，计算轨迹L中每段路程的平均速度，即v_1,2、v_2,3、v_3,4，假设选择平均速度超出30km/h的路段作为异常路段，例如v_2,3所在的路段{ID2,ID3}。

利用概率计算公式分别计算ID2、ID3的识别概率P(ID2)、P(ID3)，将概率较低的点位剔除例如ID2，如此获取L中最终轨迹为L＝{ID1、ID3、ID4}。

对人员ID1的轨迹信息L进行GIS地图展现：获取轨迹L＝{ID1、ID3、ID4} 中人员的详细信息，包括：人员ID信息、抓拍时间、摄像头编号、摄像头经纬度坐标、对应人员图片信息等。并按照时间先后顺序进行排序，将各个轨迹点依次连接起来，此连接线即为该人员的具体轨迹信息。

基于同一发明构思，本发明实施例还提供了一种基于多算法融合应用的人员轨迹检索装置，由于该装置所解决问题的原理与前述实施例的方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。

如图3所示，为本发明实施例提供的一种基于多算法融合应用的人员轨迹检索装置，可以用于执行上述方法实施例，该装置包括：

行人特征信息提取及存储模块11，用于对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；

轨迹检索模块12，用于根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；

轨迹展现模块13，用于根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。

综上所述，本发明提供的这种基于多算法融合应用的人员轨迹检索方法及装置，能解决远距离、角度不当、衣着变化、面部遮挡、光照影响、视频分辨率不高、距离较远、伪装等复杂场景下的人员检索问题；本发明能够将人脸识别、行人重识别、步态识别三种算法进行融合应用，自动对同一目标人员的轨迹进行连接与融合，弥补单一算法的不足，充分利用各算法的优势进行融合应用，实现人员的轨迹检索，能够获取到人员更为完整的轨迹信息，扩大应用场景。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多算法融合应用的人员轨迹检索方法，其特征在于，包括以下步骤：

S1、对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；

S2、根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；

S3、根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。

2.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流或者图片流中的人脸特征信息进行提取具体包括：

使用MTCNN网络对每一帧视频数据或者每个图片进行人脸目标检测；

使用训练好的人脸特征提取模型对检测到的人脸目标进行人脸特征提取，获取人脸特征信息；

其中，所述人脸特征提取模型的训练方法如下：

采集海量视频监控场景下的人脸照片，进行标注，并划分为训练集、验证集和测试集；

构建改进的faceNet模型，其中faceNet主干网络采用Inception-v4网络和residualconnection，在损失函数的选择上，分别计算softmax loss和triplet_loss，再对softmaxloss和triplet_loss进行加权，在线调整权值；

使用训练集对改进的faceNet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人脸特征提取模型。

3.如权利要求2所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流中的人脸特征信息进行提取还包括：

进行人脸目标检测之后，使用DeepSort对检测到的人脸目标进行跟踪，并进行运动目标检测；

使用训练好的人脸正脸判定模型对跟踪输出的人脸目标进行人脸正脸判定并输出判定的人脸正脸数据；

使用训练好的人脸特征提取模型对输出的人脸正脸数据进行人脸特征提取，获取人脸特征信息。

4.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流或者图片流中的人体特征信息进行提取具体包括：

使用训练好的yolov5目标检测模型对每一帧视频数据或者每个图片进行行人目标检测；

使用训练好的人体特征提取模型对检测到的行人目标进行人体特征提取，获取人体特征信息；

其中，所述人体特征提取模型的训练方法如下：

采集并构建视频监控场景下多个行人序列数据集，采集不同的行人目标在多个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；

构建改进的行人FastReID模型，主干采用基于自适应间隔排序损失的多尺度多部件融合深度网络，将行人图像特征表达与相似性度量联合学习；

在数据预处理阶段，对数据进行下采样；

使用训练集对改进的行人FastReID模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人体特征提取模型。

5.如权利要求4所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流中的人体特征信息进行提取还包括：

进行行人目标检测之后，使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；

使用训练好的行人质量评估模型对跟踪输出的行人目标进行行人质量评估，将质量最佳的行人目标作为特写图进行输出；

使用训练好的人体特征提取模型对输出的质量最佳的行人目标进行人体特征提取，获取人体特征信息。

6.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流中的步态特征信息进行提取的步骤如下：

使用训练好的yolov5目标检测模型对每一帧视频数据进行行人目标检测；

使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；

使用训练好的deeplabv3+分割模型对跟踪输出的行人序列进行步态分割，输出黑白轮廓序列图；

使用训练好的步态特征提取模型对步态分割输出的黑白轮廓序列图进行步态特征提取；

其中，所述步态特征提取模型的训练方法如下：

采集并构建视频监控场景下多个行人序列数据集，采集不同的行人目标在多个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；

构建改进的GaitSet模型；主干网络在开始增加一个CNN模块，在网络的最后两层新增MDFG和GMCM模块；

在数据预处理阶段，训练数据通过随机水平翻转和随机拼图的方法进行数据增强；

使用训练集对改进的GaitSet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的步态特征提取模型。

7.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤2中，当一条行人记录中既进行了人脸特征信息的比对，又进行了人体特征信息或者步态特征信息的比对时，以人脸特征信息的比对结果为准。

8.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于：所述步骤S2中，当根据检索目标人员的视频片段或图片提取的检索目标人员的特征信息中不包含人脸特征信息、人体特征信息、步态特征信息中的某一种特征信息时，利用检索得到的行人记录中的该种特征信息，在路人库中进行检索，找到该种特征信息对应的各条行人记录。

9.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S3之后还包括：

计算检索目标人员的轨迹中每相邻两个点位之间路程的平均速度，选择平均速度超出30km/s的路段作为异常路段，分别计算该异常路段两侧点位的算法识别概率，选择概率较低的点位作为最终异常点位，并将其从轨迹中剔除，其中点位x_t的算法识别概率P(x_t)的计算方法如下：

其中M₁,M₂,M₃分别表示人脸识别算法、行人重识别算法、步态识别算法，P(M_i)表示算法M_i的识别准确率，P(x_t|M_i)表示在算法M_i下点位x_t处识别的人员为检索目标人员的概率。

10.一种基于多算法融合应用的人员轨迹检索装置，其特征在于，包括：

行人特征信息提取及存储模块，用于对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；

轨迹检索模块，用于根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；

轨迹展现模块，用于根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。

Images