CN112200076A - 基于头部躯干特征进行多目标跟踪的方法 - Google Patents

Abstract

本发明涉及一种基于头部躯干特征进行多目标跟踪的方法，包括以下步骤：步骤S1：获取视频中行人检测的结果，并对结果进行筛选，删除错误的检测结果；步骤S2：对筛选后的检测结果进行预处理后，输入到人体关键点检测网络中，得到所有的人体关键点；步骤S3：对得到的每个行人的关键点进行筛选，选取头部以及肩膀的关键点进行组合，获得头部躯干特征；步骤S4：将得到的单个行人的头部躯干特征输入到***中进行初始化，进而对目标进行跟踪。本发明能够有效地提取检测框中的头部躯干特征，使得***在初始化的时候获取的有效信息占比最大化。

Description

基于头部躯干特征进行多目标跟踪的方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于头部躯干特征进行多目标跟踪的方法。

背景技术

多目标跟踪即Multiple Object Tracking(MOT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应(Identity),然后给出不同物体的运动轨迹。目前学术界在多目标跟踪(MOT)问题上采用的主流框架是TBD(Tracking-by-Detection)，也就是基于检测的跟踪，在这一主流的跟踪框架中，多目标跟踪问题被表述为一个关联匹配问题：某一帧获得的检测结果如果与上一帧获得的检测结果相匹配，从而认定为同一个目标。

随着近年来单目标***不断发展，出现了大量跟踪效果好且运行速度快的***。在之前的工作中，已经有人将单目标***应用于多目标跟踪任务上，并取得了一定的效果，但是单目标***在复杂场景中(例如MOT19数据集)的表现并不理想，因为复杂场景中，检测框内包含了大量的冗余特征和干扰信息，用这些特征和信息来初始化***会对跟踪效果产生极大的影响。

发明内容

有鉴于此，本发明的目的在于提供一种基于头部躯干特征进行多目标跟踪的方法，能够有效地提取检测框中的头部躯干特征，使得***在初始化的时候获取的有效信息占比最大化。

为实现上述目的，本发明采用如下技术方案：

一种基于头部躯干特征进行多目标跟踪的方法，包括以下步骤：

步骤S1：获取视频中行人检测的结果，并对结果进行筛选，删除错误的检测结果；

步骤S2：对筛选后的检测结果进行预处理后，输入到人体关键点检测网络中，得到所有的人体关键点；

步骤S3：对得到的每个行人的关键点进行筛选，选取头部以及肩膀的关键点进行组合，获得头部躯干特征；

步骤S4：将得到的单个行人的头部躯干特征输入到***中进行初始化，进而对目标进行跟踪。

进一步的，所述步骤S1具体为：

步骤S11:对视频每一帧图像进行预处理后，利用目标检测网络对其进行检测；

步骤S12：利用行人检测器对视频每一帧的信息进行检测，获得检测结果R，令R＝{K_i,P_j,det_x,det_y,det_w,det_h,det_c},i＝1,2,...M,j＝1,2,...N，表示一个视频序列中所有检测结果的集合，其中M表示一个视频序列中所有图像帧的数量，N表示一帧图像中所有被检测到的行人的数量，K_i表示一个视频序列中的第i帧图像，P_j表示此帧图像中的第j个行人，det_x,det_y,det_w,det_h分别表示这个行人的检测框左上角的x坐标、y坐标、以及检测框的宽和高，det_c表示这个检测框的置信度；

步骤S13：令行人检测置信度阈值为T_d，行人宽高比阈值为T_r，删除满足下列条件的检测结果：

det_c＜T_d or det_w/det_h＞T_r。

进一步的，所述步骤S2具体为：

步骤S21:将筛选后的检测框resize到预设的尺寸；

步骤S22：将resize后的图像进行预处理，对预处理后图像进行拷贝，将拷贝的图像水平翻转，然后把原图和翻转后的图片输入到人体关键点检测网络中；

步骤S23：获得人体关键点检测网络输出结果S，令S＝{J_z},z＝1,2,...Z，其中Z表示该图像中人体关键点的数量；J_z＝{jo int_x,jo int_y,jo int_c}表示第z个关键点，其中jo int_x表示人体关键点的x坐标，jo int_y表示人体关键点的y坐标，jo int_c表示这个人体关键点的置信度；

步骤S24：令原图像的人体关键点检测结果为S_src，令翻转图像的人体关键点检测结果为S_flip，将两个检测结果进行融合。

进一步的，所述预处理具体为：首先使用高斯滤波去除图像尖锐噪声，接着使用USM锐化增强算法去除细小的干扰细节，计算方法如下：

其中output表示输出的图像，orign_image表示原始图像，gaus_image表示高斯滤波处理后的图像，ω表示USM系数。

进一步的，所述融合的方法如下：

其中c_src表示原图像中人体关键点的置信度，x_src表示原图像中人体关键点的x坐标，y_src表示原图像中人体关键点的y坐标，其中c_flip表示翻转图像中人体关键点的置信度，x_flip表示翻转图像中人体关键点的x坐标，y_flip表示翻转图像中人体关键点的y坐标，final_x和final_y分别表示最终融合完成的人体关键点的x和y坐标，final_c表示最终融合完成的人体关键点置信度。

进一步的，所述步骤S3具体为：

步骤S31：对选取的关键点进行筛选，采用基于置信度的筛选方案，令人体关键点检测置信度阈值为T_kp，删除满足以下要求的人体关键点：

jo int_c＜T_kp

步骤S32：对筛选后的关键点进行组合，令筛选后的人体关键点集合为Q，遍历集合Q，对整个集合Q分别按照x坐标和y坐标的大小进行排序，找出集合中最上端、最下端、最左端以及最右端的人体关键点，得到一个集合中的最小矩形凸包，所述矩形凸包内的图像内容就是目标的头部躯干特征。

进一步的，所述步骤S4具体为：

步骤S41：令处于正在被跟踪状态的目标集合为O_track，该集合包含了从视频第一帧开始到当前帧所有处于跟踪状态的目标；

步骤S42：遍历处于正在被跟踪状态的目标集合O_track，将新获得的头部躯干特征与该集合内所有目标进行IOU以及OKS计算，以确认该目标是否处于跟踪状态；

步骤S43：计算处于被跟踪状态的目标集合中，已存在被跟踪目标的边界框与新获得的头部躯干特征边界框的融合度量值，计算方法如下

若FF大于0.5，则认为该目标存在，不需要重新初始化为新目标，转步骤S1；否则该特征被认定从属于一个新的目标，进行下一步；

步骤S44：将新的头部躯干特征输入到***中进行初始化，加入处于正在被跟踪状态的目标集合O_track，转步骤S1。

进一步的，所述IOU和OKS计算的方法如下：

其中A表示第一个目标的边界框的面积，B表示第二个目标的边界框的面积；边界框面积的计算方法就是矩形的长乘以矩形的宽；vis_z表示第z个关键点的可见性(大于0说明可见)，dis表示已存在人体关键点和检测的人体关键点的欧氏距离，scale²表示这些关键点所占面积大小的平方根，σ_z表示第z个人体关键点的归一化因子。

本发明与现有技术相比具有以下有益效果：

1、本发明不依赖检测结果的好坏，即使检测框与数据集中的Ground Truth有偏差，也能够通过人体关键点检测网络进行修正；

2、本发明通过人体关键点检测网络获取的头部躯干特征用于目标跟踪，考虑监控场景拍摄的角度，因为头部躯干不容易被遮挡，所以即使在人群拥挤的监控场景中也能够提取到有效的特征进行跟踪；

3、本发明采用人体关键点检测网络获得的头部躯干特征所包含的有效信息在图像中平均占比量更大，更有利于***的初始化以及后续的跟踪。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于头部躯干特征进行多目标跟踪的方法，包括以下步骤：

步骤S1：获取视频中行人检测的结果，并对结果进行筛选，删除错误的检测结果；

步骤S2：将筛选后的检测结果输入到人体关键点检测网络中，得到所有的人体关键点；可以降低对检测结果质量好坏的依赖程度，即使检测结果质量差也能通过人体关键点进行修正；

步骤S3：考虑到监控场景拍摄的角度，因为头部躯干不容易被遮挡，即使在人群拥挤的监控场景中也能够提取到有效的特征进行跟踪，所以对得到的每个行人的关键点进行筛选，之后选取头部以及肩膀的关键点进行组合，获得头部躯干特征；

步骤S4：将得到的单个行人的头部躯干特征输入到***中进行初始化，进而对目标进行跟踪，因为人体关键点检测网络获得的头部躯干特征所包含的有效信息在图像中平均占比量更大，所以更有利于***的初始化以及后续的跟踪。

在本实施例中，包括步骤S1具体包括以下步骤：

步骤S11：对视频每一帧图像进行预处理后，利用目标检测网络

对其进行检测；

步骤S12：利用行人检测器对视频每一帧的信息进行检测，获得检测结果R，令R＝{K_i,P_j,det_x,det_y,det_w,det_h,det_c},i＝1,2,...M,j＝1,2,...N，表示一个视频序列中所有检测结果的集合，其中M表示一个视频序列中所有图像帧的数量，N表示一帧图像中所有被检测到的行人的数量，K_i表示一个视频序列中的第i帧图像，P_j表示此帧图像中的第j个行人，det_x,det_y,det_w,det_h分别表示这个行人的检测框左上角的x坐标、y坐标、以及检测框的宽和高，det_c表示这个检测框的置信度；

步骤S13：令行人检测置信度阈值为T_d，行人宽高比阈值为T_r，删除满足下列条件的检测结果：

det_c＜T_d or det_w/det_h＞T_r

在本实施例中，步骤S2具体包括以下步骤：

步骤S21：将筛选后的检测框resize到4:3的尺寸，使用344×258的大小；

步骤S22：将resize后的图像进行预处理首先使用高斯滤波去除图像尖锐噪声，之所以用高斯滤波是因为其可以更好的保留边界信息；接着使用USM锐化增强算法去除细小的干扰细节，计算方法如下：

其中output表示输出的图像，orign_image表示原始图像，gaus_image表示高斯滤波处理后的图像，ω表示USM系数。对预处理输出的图像进行拷贝，将拷贝的图像水平翻转，然后把原图和翻转后的图片输入到人体关键点检测网络中；

步骤S23：获得人体关键点检测网络输出结果S，令S＝{J_z},z＝1,2,...Z，其中Z表示该图像中人体关键点的数量。J_z＝{jo int_x,jo int_y,jo int_c}表示第z个关键点，其中jo int_x表示人体关键点的x坐标，jo int_y表示人体关键点的y坐标，jo int_c表示这个人体关键点的置信度；

步骤S24：令原图像的人体关键点检测结果为S_src，令翻转图像的人体关键点检测结果为S_flip，将两个检测结果进行融合，这一步骤是为了达到更精确的人体关键点坐标，融合的方法如下：

其中c_src表示原图像中人体关键点的置信度，x_src表示原图像中人体关键点的x坐标，y_src表示原图像中人体关键点的y坐标，其中c_flip表示翻转图像中人体关键点的置信度，x_flip表示翻转图像中人体关键点的x坐标，y_flip表示翻转图像中人体关键点的y坐标，final_x和final_y分别表示最终融合完成的人体关键点的x和y坐标，final_c表示最终融合完成的人体关键点置信度。

在本实施例中，选取具有良好跟踪特征的人体关键点，具体包括：头部(眼睛、鼻子、耳朵)以及两个肩膀的人体关键点，步骤S3具体包括以下步骤：

步骤S31：对选取的关键点进行筛选，采用基于置信度的筛选方案，令人体关键点检测置信度阈值为T_kp，删除满足以下要求的人体关键点：

jo int_c＜T_kp

步骤S32：对筛选后的关键点进行组合，令筛选后的人体关键点集合为Q，遍历集合Q，对整个集合Q分别按照x坐标和y坐标的大小进行排序，找出集合中最上端、最下端、最左端以及最右端的人体关键点，得到一个集合中的最小矩形凸包。矩形凸包内的图像内容就是目标的头部躯干特征。

在本实施例中，步骤S4具体包括以下步骤：

步骤S41：令处于正在被跟踪状态的目标集合为O_track，该集合包含了从视频第一帧开始到当前帧所有处于跟踪状态的目标。

步骤S42：遍历处于正在被跟踪状态的目标集合O_track，将新获得的头部躯干特征与该集合内所有目标进行IOU(交并比)以及OKS(目标关键点相似性)计算，以确认该目标是否以及处于跟踪状态，其中IOU和OKS计算的方法如下：

其中A表示第一个目标的边界框的面积，B表示第二个目标的边界框的面积；边界框面积的计算方法就是矩形的长乘以矩形的宽；vis_z表示第z个关键点的可见性(大于0说明可见)，dis表示已存在人体关键点和检测的人体关键点的欧氏距离，scale²表示这些关键点所占面积大小的平方根，σ_z表示第z个人体关键点的归一化因子(这个因子是通过对已有的数据集中所有Ground Truth计算的标准差而得到的，反映出当前关键点对与整体的影响程度)。

步骤S43：计算处于被跟踪状态的目标集合中，已存在被跟踪目标的边界框与新获得的头部躯干特征边界框的融合度量值，计算方法如下

若FF大于0.5，则认为该目标存在，不需要重新初始化为新目标，转步骤S11；否则该特征被认定从属于一个新的目标，进行下一步。

步骤S44：将新的头部躯干特征输入到***中进行初始化，加入处于正在被跟踪状态的目标集合O_track，转步骤S11。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于头部躯干特征进行多目标跟踪的方法，其特征在于，包括以下步骤：

步骤S1：获取视频中行人检测的结果，并对结果进行筛选，删除错误的检测结果；

步骤S2：对筛选后的检测结果进行预处理后，输入到人体关键点检测网络中，得到所有的人体关键点；

步骤S3：对得到的每个行人的关键点进行筛选，选取头部以及肩膀的关键点进行组合，获得头部躯干特征；

步骤S4：将得到的单个行人的头部躯干特征输入到***中进行初始化，进而对目标进行跟踪。

2.根据权利要求1所述的基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述步骤S1具体为：

步骤S11:对视频每一帧图像进行预处理后，利用目标检测网络对其进行检测；

步骤S12：利用行人检测器对视频每一帧的信息进行检测，获得检测结果R，令R＝{K_i,P_j,det_x,det_y,det_w,det_h,det_c},i＝1,2,...M,j＝1,2,...N，表示一个视频序列中所有检测结果的集合，其中M表示一个视频序列中所有图像帧的数量，N表示一帧图像中所有被检测到的行人的数量，K_i表示一个视频序列中的第i帧图像，P_j表示此帧图像中的第j个行人，det_x,det_y,det_w,det_h分别表示这个行人的检测框左上角的x坐标、y坐标、以及检测框的宽和高，det_c表示这个检测框的置信度；

步骤S13：令行人检测置信度阈值为T_d，行人宽高比阈值为T_r，删除满足下列条件的检测结果：

det_c＜T_d or det_w/det_h＞T_r。

3.根据权利要求1所述的基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述步骤S2具体为：

步骤S21:将筛选后的检测框resize到预设的尺寸；

步骤S22：将resize后的图像进行预处理，对预处理后图像进行拷贝，将拷贝的图像水平翻转，然后把原图和翻转后的图片输入到人体关键点检测网络中；

步骤S23：获得人体关键点检测网络输出结果S，令S＝{J_z},z＝1,2,...Z，其中Z表示该图像中人体关键点的数量；J_z＝{joint_x,joint_y,joint_c}表示第z个关键点，其中joint_x表示人体关键点的x坐标，joint_y表示人体关键点的y坐标，joint_c表示这个人体关键点的置信度；

步骤S24：令原图像的人体关键点检测结果为S_src，令翻转图像的人体关键点检测结果为S_flip，将两个检测结果进行融合。

4.根据权利要求3所述的基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述预处理具体为：首先使用高斯滤波去除图像尖锐噪声，接着使用USM锐化增强算法去除细小的干扰细节，计算方法如下：

其中output表示输出的图像，orign_image表示原始图像，gaus_image表示高斯滤波处理后的图像，ω表示USM系数。

5.根据权利要求3所述的基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述融合的方法如下：

其中c_src表示原图像中人体关键点的置信度，x_src表示原图像中人体关键点的x坐标，y_src表示原图像中人体关键点的y坐标，其中c_flip表示翻转图像中人体关键点的置信度，x_flip表示翻转图像中人体关键点的x坐标，y_flip表示翻转图像中人体关键点的y坐标，final_x和final_y分别表示最终融合完成的人体关键点的x和y坐标，final_c表示最终融合完成的人体关键点置信度。

6.根据权利要求1所述的基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述步骤S3具体为：

步骤S31：对选取的关键点进行筛选，采用基于置信度的筛选方案，令人体关键点检测置信度阈值为T_kp，删除满足以下要求的人体关键点：

joint_c＜T_kp

步骤S32：对筛选后的关键点进行组合，令筛选后的人体关键点集合为Q，遍历集合Q，对整个集合Q分别按照x坐标和y坐标的大小进行排序，找出集合中最上端、最下端、最左端以及最右端的人体关键点，得到一个集合中的最小矩形凸包，所述矩形凸包内的图像内容就是目标的头部躯干特征。

7.根据权利要求1所述的基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述步骤S4具体为：

步骤S41：令处于正在被跟踪状态的目标集合为O_track，该集合包含了从视频第一帧开始到当前帧所有处于跟踪状态的目标；

步骤S42：遍历处于正在被跟踪状态的目标集合O_track，将新获得的头部躯干特征与该集合内所有目标进行IOU以及OKS计算，以确认该目标是否处于跟踪状态；

步骤S43：计算处于被跟踪状态的目标集合中，已存在被跟踪目标的边界框与新获得的头部躯干特征边界框的融合度量值，计算方法如下

若FF大于0.5，则认为该目标存在，不需要重新初始化为新目标，转步骤S1；否则该特征被认定从属于一个新的目标，进行下一步；

步骤S44：将新的头部躯干特征输入到***中进行初始化，加入处于正在被跟踪状态的目标集合O_track，转步骤S1。

8.根据权利要求7所述基于头部躯干特征进行多目标跟踪的方法，其特征在于，所述IOU和OKS计算的方法如下：

其中A表示第一个目标的边界框的面积，B表示第二个目标的边界框的面积；边界框面积的计算方法就是矩形的长乘以矩形的宽；vis_z表示第z个关键点的可见性(大于0说明可见)，dis表示已存在人体关键点和检测的人体关键点的欧氏距离，scale²表示这些关键点所占面积大小的平方根，σ_z表示第z个人体关键点的归一化因子。

Images