CN114092517A - 基于传统和深度学习算法的多目标跟踪方法 - Google Patents

Abstract

本发明提供基于传统和深度学习算法的多目标跟踪方法，涉及计算机视觉技术领域。该基于传统和深度学习算法的多目标跟踪方法，包括利用目标检测器对视频帧中的目标进行检测，将检测的目标特征提取出来，其中表观特征可以避免遗失目标和对障碍目标处理的能力，运动特征主要是依靠流光、卡尔曼等算法进行目标轨迹预判，而后采用级联匹配以及IOU匹配，然后对目标分配ID。本发明，采用具有鲁棒性的光流算法，避免了卡尔曼滤波轨迹预测出现重大偏差，导致结果准确性下降的现象。通过训练后的yolov5检测模型，经过deepsort追踪模型进行实时性验证，发现跟踪目标准确性大大提高。

Description

基于传统和深度学习算法的多目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，具体为基于传统和深度学习算法的多目标跟踪方法。

背景技术

计算机视觉一直以来就备受关注，始终是研究的热点。多目标跟踪作为计算机视觉的一部分，也受到国内外学者的研究。通过研究顶会期刊论文，发现目前大多数学者都是卡尔曼滤波和匈牙利算法结合建立追踪模型，这种组合优点就是检测速度提上去了，但对目标跟丢现象却没有进行有效的改进。本发明就是通过增加一种传统算法-流光估计，有效避免扩展的卡尔曼滤波出现预测轨迹出现严重偏离的情况。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于传统和深度学习算法的多目标跟踪方法，通过添加改进的光流算法，防止卡尔曼滤波轨迹预测出现重大偏差，导致结果准确性下降的方案。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：基于传统和深度学习算法的多目标跟踪方法，具体包括：

利用目标检测器对视频帧中的目标进行检测，将检测的目标特征提取出来，其中表观特征可以避免遗失目标和对障碍目标处理的能力，运动特征主要是依靠流光、卡尔曼等算法进行目标轨迹预判，而后采用级联匹配以及IOU匹配，然后对目标分配ID；

所述方法具体包括：

S1、采集数据，对其进行预处理；

S2、采用yolov5结构网络对上述数据集进行训练，得到最优权重模型；

S3、对追踪模型进行改进优化；

S4、将步骤2得到的模型与步骤3模型进行结合，生成多追踪模型；

S5、对追踪模型进行实时性验证。

优选的，所述步骤1中具体包括：

通过采集复杂路口视频，对其进行预处理作为数据集，并将数据集按照一定比例进行划分为训练、验证和测试。

优选的，所述步骤2中采用yolov5结构网络对上述数据集进行训练，得到最优权重模型。

优选的，所述步骤3中对deepsort进行改进，具体方法如下：

在轨迹预测方面增加改进的光流估计-区域匹配法，这类方法是将速度Vm定义为视差d＝(dx,dy)^T,使得两个时刻的图像区域的匹配最佳，为了得到子象素的精度，对得到的d周围的相似度用一曲面来拟合，求最大值，为解决大运动问题，采取由粗到细的策略；

考虑图像在象素M＝(x,y)^T,时刻t的灰度值I(x,y,t),令点m的速度为Vm＝(Vx,Vy)^T,假设m点的灰度保持不变，那么时间间隔很短时dt,其光流估计约束方程为：

I(x,y,t)＝I(x+Vxdx,y+Vydy,t+dt)；

进行等式变换：

其中

为m点的梯度；

区域匹配法：速度Vm定义为视差d＝(dx,dy)^T，另外deepsort中依然采用扩展的卡尔曼滤波，状态估计某时刻的状态(u,v,r,h,u1,v1,r1,h1)，其中(u,v,r,h)为当前时刻变量，而(u1,v1,r1,h1)为预测变量,通过匈牙利算法来解决分配问题，把一群检测框和卡尔曼预测的框做分配，让卡尔曼预测的框找到和自己最匹配的检测框，达到追踪的效果。

优选的，所述步骤4中将步骤2得到的模型与改进后的deepsort模型进行结合，生成多追踪模型，具体流程为：

1)创建Tracks，将光流和卡尔曼滤波的运动变量初始化，通过光流与卡尔曼滤波预测其框，二者框进行计算IOU,若大于阈值，则进行5)步骤，否则进行2)步骤；

2)将该帧框和上一帧通过Tracks预测的框进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；

3)将2)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，得到的结果有三种，第一种是Tracks失配，直接将失配的Tracks删除；第二种是Detections失配，将这样的Detections初始化为一个新的Tracks；第三种是检测框和预测的框框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；

4)反复循环2)-3)步骤，直到出现确认态的Tracks或者视频帧结束；

5)将两种算法预测框IOU大于阈值以及确认态的Tracks的框与Detections进行级联匹配；

6)进行级联匹配后有三种可能的结果，第一种，Tracks匹配，这样的Tracks通过光流与卡尔曼滤波更新其对应的Tracks变量，第二、第三种是Detections和Tracks失配，这时将之前的不确认状态的Tracks和失配的Tracks一起和Unmatched Detections一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；

7)将6)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，得到的结果有三种，第一种是Tracks失配，我们直接将失配的Tracks删除；第二种是Detections失配，将这样的Detections初始化为一个新的Tracks；第三种是检测框和预测的框框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；

8)反复循环5)-7)步骤，直到视频结束。

(三)有益效果

本发明提供了基于传统和深度学习算法的多目标跟踪方法。具备以下有益效果：

本发明，采用具有鲁棒性的光流算法，避免了卡尔曼滤波轨迹预测出现重大偏差，导致结果准确性下降的现象。通过训练后的yolov5检测模型，经过deepsort追踪模型进行实时性验证，发现跟踪目标准确性大大提高。

附图说明

图1为本发明的整体流程图；

图2为本发明的追踪模型流程图；

图3为本发明的检测流程图。

具体实施方式

下面将结合本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

参考图1-3所示，本发明实施例提供基于传统和深度学习算法的多目标跟踪方法，具体包括：

利用目标检测器对视频帧中的目标进行检测，将检测的目标特征提取出来，其中表观特征可以避免遗失目标和对障碍目标处理的能力，运动特征主要是依靠流光、卡尔曼等算法进行目标轨迹预判，而后采用级联匹配以及IOU匹配，然后对目标分配ID；

该方法具体包括：

S1、采集数据，对其进行预处理；

具体包括：

通过采集复杂路口视频，对其进行预处理作为数据集，并将数据集按照一定比例进行划分为训练、验证和测试；

S2、采用yolov5结构网络对上述数据集进行训练，得到最优权重模型；

S3、对追踪模型进行改进优化；

具体方法如下：

在轨迹预测方面增加改进的光流估计-区域匹配法，这类方法是将速度Vm定义为视差d＝(dx,dy)^T,使得两个时刻的图像区域的匹配最佳，为了得到子象素的精度，对得到的d周围的相似度用一曲面来拟合，求最大值，为解决大运动问题，采取由粗到细(coarse-to-fine)的策略；

考虑图像在象素M＝(x,y)^T,时刻t的灰度值I(x,y,t),令点m的速度为Vm＝(Vx,Vy)^T,假设m点的灰度保持不变，那么时间间隔很短时dt,其光流估计约束方程为：

I(x，y，t)＝I(x+Vxdx，y+Vydy，t+dt)；

进行等式变换：

其中

为m点的梯度；

区域匹配法：速度Vm定义为视差d＝(dx,dy)^T，另外deepsort中依然采用扩展的卡尔曼滤波，状态估计某时刻的状态(u,v,r,h,u1,v1,r1,h1)，其中(u,v,r,h)为当前时刻变量，而(u1,v1,r1,h1)为预测变量,通过匈牙利算法来解决分配问题，把一群检测框和卡尔曼预测的框做分配，让卡尔曼预测的框找到和自己最匹配的检测框，达到追踪的效果；

S4、将步骤2得到的模型与步骤3模型进行结合，生成多追踪模型；

具体流程为：

1)创建Tracks，将光流和卡尔曼滤波的运动变量初始化，通过光流与卡尔曼滤波预测其框，二者框进行计算IOU,若大于阈值，则进行5)步骤，否则进行2)步骤；

2)将该帧框和上一帧通过Tracks预测的框进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵(cost matrix，其计算方式是1-IOU)；

3)将2)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，得到的结果有三种，第一种是Tracks失配(Unmatched Tracks)，直接将失配的Tracks(因为这个Tracks是不确定态了，如果是确定态的话则要连续达到一定的次数(默认30次)才可以删除)删除；第二种是Detections失配(Unmatched Detections)，将这样的Detections初始化为一个新的Tracks(new Tracks)；第三种是检测框和预测的框框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；

4)反复循环2)-3)步骤，直到出现确认态(confirmed)的Tracks或者视频帧结束；

5)将两种算法预测框IOU大于阈值以及确认态的Tracks的框与Detections进行级联匹配(之前每次只要Tracks匹配上都会保存Detections其的外观特征和运动信息，默认保存前100帧，利用外观特征和运动信息和Detections进行级联匹配,这么做是因为确认态(confirmed)的Tracks和Detections匹配的可能性更大)；

6)进行级联匹配后有三种可能的结果，第一种，Tracks匹配，这样的Tracks通过光流与卡尔曼滤波更新其对应的Tracks变量，第二、第三种是Detections和Tracks失配，这时将之前的不确认状态的Tracks和失配的Tracks一起和Unmatched Detections一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵(cost matrix，其计算方式是1-IOU)；

7)将6)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，得到的结果有三种，第一种是Tracks失配(Unmatched Tracks)，我们直接将失配的Tracks(因为这个Tracks是不确定态了，如果是确定态的话则要连续达到一定的次数(默认30次)才可以删除；第二种是Detections失配(Unmatched Detections)，将这样的Detections初始化为一个新的Tracks(new Tracks)；第三种是检测框和预测的框框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；

8)反复循环5)-7)步骤，直到视频结束；

S5、对追踪模型进行实时性验证。

本发明，采用具有鲁棒性的光流算法，避免了卡尔曼滤波轨迹预测出现重大偏差，导致结果准确性下降的现象。通过训练后的yolov5检测模型，经过deepsort追踪模型进行实时性验证，发现跟踪目标准确性大大提高。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.基于传统和深度学习算法的多目标跟踪方法，其特征具体包括：

利用目标检测器对视频帧中的目标进行检测，将检测的目标特征提取出来，其中表观特征可以避免遗失目标和对障碍目标处理的能力，运动特征主要是依靠流光、卡尔曼等算法进行目标轨迹预判，而后采用级联匹配以及IOU匹配，最后对目标分配ID；

所述方法具体包括：

S1、采集数据，对其进行预处理；

S2、采用yolov5结构网络对上述数据集进行训练，得到最优权重模型；

S3、对追踪模型进行改进优化；

S4、将步骤2得到的模型与步骤3模型进行结合，生成多追踪模型；

S5、对追踪模型进行实时性验证。

2.根据权利要求1所述的基于传统和深度学习算法的多目标跟踪方法，其特征在于：所述步骤1中具体包括：

通过采集复杂路口视频，对其进行预处理作为数据集，并将数据集按照一定比例进行划分为训练、验证和测试。

3.根据权利要求1所述的基于传统和深度学习算法的多目标跟踪方法，其特征在于：所述步骤2中采用YOLOV5结构网络对上述数据集进行训练，得到最优权重模型。

4.根据权利要求1所述的基于传统和深度学习算法的多目标跟踪方法，其特征在于：所述步骤3中对deepsort进行改进，具体方法如下：

在轨迹预测方面增加改进的光流估计-区域匹配法，这类方法是将速度Vm定义为视差d＝(dx,dy)^T,使得两个时刻的图像区域的匹配最佳，为了得到子象素的精度，对得到的d周围的相似度用一曲面来拟合，求最大值，为解决大运动问题，采取由粗到细的策略；

考虑图像在象素M＝(x,y)^T,时刻t的灰度值I(x,y,t),令点m的速度为Vm＝(Vx,Vy)^T,假设m点的灰度保持不变，那么时间间隔很短时dt,其光流估计约束方程为：

I(x，y，t)＝I(x+Vxdx，y+Vydy，t+dt)；

进行等式变换：

其中

为m点的梯度；

区域匹配法：速度Vm定义为视差d＝(dx,dy)^T，另外deepsort中依然采用扩展的卡尔曼滤波，状态估计某时刻的状态(u,v,r,h,u1,v1,r1,h1)，其中(u,v,r,h)为当前时刻变量，而(u1,v1,r1,h1)为预测变量,通过匈牙利算法来解决分配问题，把一群检测框和卡尔曼预测的框做分配，让卡尔曼预测的框找到和自己最匹配的检测框，达到追踪的效果。

5.根据权利要求1所述的基于传统和深度学习算法的多目标跟踪方法，其特征在于：所述步骤4中将步骤2得到的模型与改进后的deepsort模型进行结合，生成多追踪模型，具体流程为：

1)创建Tracks，将光流和卡尔曼滤波的运动变量初始化，通过光流与卡尔曼滤波预测其框，二者框进行计算IOU,若大于阈值，则进行5)步骤，否则进行2)步骤；

2)将该帧框和上一帧通过Tracks预测的框进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；

3)将2)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，得到的结果有三种，第一种是Tracks失配，直接将失配的Tracks删除；第二种是Detections失配，将这样的Detections初始化为一个新的Tracks；第三种是检测框和预测的框框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；

4)反复循环2)-3)步骤，直到出现确认态的Tracks或者视频帧结束；

5)将两种算法预测框IOU大于阈值以及确认态的Tracks的框与Detections进行级联匹配；

6)进行级联匹配后有三种可能的结果，第一种，Tracks匹配，这样的Tracks通过光流与卡尔曼滤波更新其对应的Tracks变量，第二、第三种是Detections和Tracks失配，这时将之前的不确认状态的Tracks和失配的Tracks一起和Unmatched Detections一一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；

7)将6)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，得到的结果有三种，第一种是Tracks失配，我们直接将失配的Tracks删除；第二种是Detections失配，将这样的Detections初始化为一个新的Tracks；第三种是检测框和预测的框框配对成功，说明前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；

8)反复循环5)-7)步骤，直到视频结束。

Images