CN112465865A - 一种基于背景建模和IoU匹配的多目标跟踪方法 - Google Patents

Abstract

本发明公布了一种基于背景建模和IoU匹配的多目标跟踪方法，它包括有以下步骤：1)相机预置位设置以及相机标定；2)卷积神经网络模型初始化；3)获取实时视频流；4)检查相机工作状态；5)基于背景建模算法的跳帧策略；6)使用卷积神经网络模型对兴趣区域进行目标检测；7)基于IoU匹配的目标跟踪；8)动态调整参数策略。本发明通过结合背景建模方法引入了跳帧机制，进行实时的目标跟踪，具有极大的实用价值，极大节约了计算资源，具有对环境变化较强的鲁棒性，本发明的多目标跟踪方法，可以应用于智能交通***，为交通拥堵检测、异常停车等异常事件提供实时的车辆目标跟踪，以降低人力资源成本、保证交通安全、提高通行效率。

Description

一种基于背景建模和IoU匹配的多目标跟踪方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于背景建模和IoU匹配的多目标跟踪方法。

背景技术

随着计算机技术的发展和计算机视觉原理的广泛应用，目标跟踪算法越来越成为计算机视觉领域中研究的热点问题。通常目标跟踪算法的目的是在视频序列图像中识别出同一目标在不同时间点的位置。尽管当前目标跟踪技术取得了比较大的突破，但是其依然是一项具有挑战性的任务，目标遮挡、实时性等问题一直是目标跟踪的难点。

现有的目标跟踪方法主要分为两种，一种是基于生成式模型方法，另一种是判别式模型方法。生成式模型方法通常是对目标进行建模，再在下一帧进行搜索。著名的卡尔曼预测方法通过对跟踪目标运动轨迹进行建模，预测得到跟踪目标下一帧的位置。卡尔曼预测计算速度快，但是需要目标符合高斯运动规律。判别式模型方法则是先使用目标检测算法进行目标检测，之后再进行目标关联。比较流行的有KCF目标跟踪方法，但其本质上是一种单目标跟踪手段。当将KCF应用于多目标跟踪时，会存在计算复杂度呈指数增长的情况。之后随着深度学习的发展，有学者提出了使用Siam RPN卷积神经网络直接进行目标跟踪，跟踪精度高，但由于极大的计算消耗以及实时性差的问题，而无法被实际使用。Bochinski等人提出IoU Tracker进行多目标跟踪方法，但是其IoU跟踪阈值需要人为调整，且在运行过程中不可变。

而当前与本发明类似的运动目标检测方法有：发明专利(申请号：CN202010547158.6，名称：一种基于IOU匹配的双滤波器视频多目标跟踪方法)公开了一种基于IOU匹配的双滤波器视频多目标跟踪方法，但是其IoU阈值需要人为设置且固定不变，而本发明的IoU阈值是根据目标运动速度动态变化的；此外本发明通过结合背景建模方法引入了跳帧机制，极大节约了计算资源，因此两者存在明显的区别。

发明内容

为克服现有技术上计算资源浪费、实时性较差等的不足，本发明的目的在于提供一种基于背景建模和IoU匹配的多目标跟踪方法，本发明通过结合背景建模方法引入了跳帧机制，极大节约了计算资源，并进行实时的目标跟踪。

为实现上述发明，采用的技术方案如下：

所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于包括如下步骤：

1)对相机预置位设置以及相机标定：将进行目标跟踪时相机所处的固定位置设置为预置位，之后截取相机视频流的一帧图像，在其上进行目标跟踪兴趣区域标定；

2)卷积神经网络模型初始化：将卷积网络模型加载到GPU显卡中以及权重参数恢复；

3)获取实时视频流；

4)检查相机工作状态：工作状态正常，将获取的视频流进入步骤5)处理，工作状态不正常，清空跟踪队列并跳过当前视频帧，重复步骤3)；

5)基于背景建模算法的跳帧策略：判断当前帧是否处于非跳帧阶段，其处于非跳帧阶段，直接进入步骤6)，若处于跳帧阶段，则进行进一步处理，处理后发现当前兴趣区域内不存在目标，则跳过当前帧，返回步骤3)；若存在目标，则进入非跳帧阶段，继续执行步骤(6)；

6)使用卷积神经网络模型对兴趣区域进行目标检测，得到当前帧的目标检测结果；

7)基于IoU匹配的目标跟踪，对步骤6)检测到的每一个目标与上一帧跟踪队列里的目标进行匹配，以进行多目标跟踪；

8)动态调整参数策略，动态更新参数a，返回步骤3)。

2.如权利要求1所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于步骤5)中，当前帧处于跳帧阶段，则进行进一步处理的具体过程如下：

5.1)对图像兴趣区域进行背景建模，并进行二值化得到二值图，将二值图进行闭、开运算并搜索矩形边框，得到矩形边框集合RB＝{RB_i＝(x_i,y_i,w_i,h_i)|i＝1,2,…,n}；其中RB_i为第i个矩形边框；(x_i,y_i,w_i,h_i)为第i个矩形边框中心点的横坐标、纵坐标、宽以及高；n为矩形边框数量；

5.2)将不符合公式(1)的矩形边框RB_i从集合RB中删除，更新矩形边框集合RB；

w_i*h_i∈[λ*a,a/λ] (1)

其中，a为动态更新参数，a的初始值为预先设置的可调值，取值范围为0～1.0，并由步骤8)进行动态更新；λ为预先设置的可调值，取值范围为0～1.0；

5.3)更新后的集合RB中的矩形边框数量等于0，表示当前兴趣区域内不存在目标，则跳过当前帧，返回步骤3)；否则进入非跳帧阶段，继续执行步骤6)。

所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于步骤7)中的基于IoU匹配的目标跟踪具体包含以下步骤：

7.1)过滤步骤6)得到的当前帧目标检测结果中不在兴趣区域内的目标；

7.2)过滤后兴趣区域内的目标数量为0，表明当前帧不存在目标，因此进入跳帧阶段，对当前帧进行背景建模，返回步骤3)；过滤后的目标数量不为0，则对兴趣区域内的每一个目标D进行下一步骤；

7.3)计算当前兴趣区域内的目标D和跟踪队列中目标Q的IoU；跟踪队列为上一帧跟踪目标的集合，初始化为空集合；IoU根据公式(2)计算；

其中，D_box为当前帧的目标D的边界框，Q_TrackingBox为跟踪队列中目标Q的实时跟踪边界框，∩为求交集，∪为求并集；Area()表示面积计算函数；

7.4)如果IoU≥θ，则认为当前目标D和跟踪队列中目标Q为同一目标，将当前目标D标记为已匹配，将跟踪队列中目标Q标记为已检测，实时跟踪框更新为当前目标D的边界框；其中θ为阈值，θ＝min(0.2,max(0.8,e^-v))，v根据公式(3)计算；

其中，c为跟踪队列中目标Q实时跟踪框的中心点位置，c_s为跟踪队列中目标Q前面第s帧的跟踪框中心点位置；w_j和h_j为跟踪目标Q前面第j帧时跟踪框的宽与高，j的取值范围为1到s；s为预先设置的值，取值范围为正整数；

7.5)移除跟踪队列中未被标记为已检测的跟踪目标；

7.6)将未匹配的目标D加入跟踪队列中，实时跟踪框设置为当前目标D的边界框，即完成对目标D的跟踪；

7.7)如果兴趣区域内的每一个目标都执行过步骤7.3)到7.6)，即完成多目标跟踪；否则，对兴趣区域内的下一个目标继续执行步骤7.3)。

所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于步骤8)中的动态调整参数策略为根据公式(4)动态更新参数a；

其中，A_i为跟踪队列中第i个跟踪目标的实时跟踪框的面积；m为跟踪队列目标个数；j表示当前执行步骤8)的次数，j取值为正整数，初始值为1；a_j为第j次更新前参数a的值，即a_j设置为当前a的参数值；a_j+1为第j次更新后参数a的值，即设置当前a的参数值为a_j+1；β为预先设置的可调值，取值范围为0～1.0。

与现有技术相比，本发明具有的主要有益效果为：

本发明提出的一种基于背景建模和IoU匹配的多目标跟踪方法，通过结合背景建模方法引入了跳帧机制，进行实时的目标跟踪，具有极大的实用价值，极大节约了计算资源，具有对环境变化较强的鲁棒性，本发明的多目标跟踪方法，可以应用于智能交通***，为交通拥堵检测、异常停车等异常事件提供实时的车辆目标跟踪，以降低人力资源成本、保证交通安全、提高通行效率。

附图说明

图1为本发明方法的步骤流程图；

图2为本发明方法的标定图实例。

图中:1-兴趣区域；2-车辆目标。

具体实施方式

以下结合说明书附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1和图2所示，本发明提供的一种基于背景建模和IoU匹配的多目标跟踪方法，包括以下步骤：

步骤1)相机预置位设置以及相机标定，具体地，相机预置位为进行目标跟踪时相机所处的固定位置，即将当前相机的摄像头调整到合适的监控位置，将当前相机位置设置为预置位，之后截取相机视频流的一帧图像，在其上进行目标跟踪兴趣区域1标定，兴趣区域1为如图2所示的多边形框；

步骤2)卷积神经网络模型初始化，具体地，将卷积网络模型加载到GPU显卡中以及权重参数恢复；

步骤3)获取实时视频流；

步骤4)检查相机工作状态，具体地，获取当前相机的位置信息，与步骤1)的预置位比较，位置是否相同，若位置相同，则进行下一步目标跟踪；若不相同，则视为异常，清空跟踪队列并跳过当前视频帧，返回步骤3)；跟踪队列为上一帧跟踪目标的集合，初始化为空集合；

步骤5)基于背景建模算法的跳帧策略，具体地，判断当前帧是否处于跳帧阶段，即兴趣区域内是否有目标2：无目标2，则跳帧，有目标2，则非跳帧，如果处于非跳帧阶段，则直接进行步骤6)；

如果处于跳帧阶段，则包括以下步骤：

5.1)对当前帧图像兴趣区域进行背景建模，并进行二值化得到二值图，将二值图进行闭、开运算并搜索矩形边框，得到矩形边框集合RB＝{RB_i＝(x_i,y_i,w_i,h_i)|i＝1,2,…,n}；其中RB_i为第i个矩形边框；(x_i,y_i,w_i,h_i)为第i个矩形边框的中心点横坐标、纵坐标、宽以及高；n为矩形边框数量；

5.2)将不符合公式(1)的矩形边框RB_i从矩形边框集合RB中删除，对矩形边框集合进行更新；

w_i*h_i∈[λ*a,a/λ] (1)

其中，a为动态更新的参数，a的初始值为预先设置的可调值，取值范围为正整数，在本实施例中，a初始值取值为1600；λ为预先设置的可调值，取值范围为0～1.0，在本实施例中，λ取值为0.5；

5.3)如果步骤5.2)中的矩形边框集合RB中矩形边框数量等于0，表示当前兴趣区域内不存在目标2，则跳过当前帧，返回步骤3)；否则当前进入非跳帧阶段，继续执行步骤6)；

步骤6)使用卷积神经网络模型对兴趣区域进行目标检测，得到目标检测结果；

步骤7)基于IoU匹配的目标跟踪，具体地，包括以下步骤：

7.1)得到当前帧的目标检测结果后，过滤不在兴趣区域内的目标；

7.2)如果过滤后兴趣区域1内的目标2数量为0，表明当前帧不存在目标2，进入跳帧阶段，并对当前帧进行背景建模，返回步骤3)；否则，对兴趣区域1内的每一个目标D进行下述步骤；在本实施例中，目标D即为图2中的矩形车辆目标；

7.3)计算当前每个目标D和跟踪队列中目标Q的IoU；跟踪队列为上一帧跟踪

目标的集合，初始化为空集合；IoU根据公式(2)计算；

其中，D_box为当前帧的目标D的边界框，Q_TrackingBox为跟踪队列中目标Q的实时跟踪边界框，∩为求交集，∪为求并集；Area()表示面积计算函数；

7.4)如果IoU≥θ，则认为D和Q是同一目标，将D标记为已匹配，将Q标记为已检测，实时跟踪框更新为当前目标D的边界框；其中θ＝min(0.2,max(0.8,e^-v))，v根据公式(3)计算；

其中，c为跟踪队列中目标Q实时跟踪框的中心点位置，c_s为跟踪队列中目标Q前面第s帧的跟踪框中心点位置；w_j和h_j为跟踪目标Q前面第j帧时跟踪框的宽与高；s为预先设置的值，取值范围为正整数，在本实施例中，s取值为5，变量j为公式(3)中产生的中间变量，取值范围为1到s；e是数学中的自然常数，其值约为2.718281828459045；

7.5)移除跟踪队列中未被标记为已检测的跟踪目标；

7.6)将未匹配的目标D加入跟踪队列中，实时跟踪框设置为当前目标D的边界框，即完成对目标D的跟踪；

7.7)如果兴趣区域内的每一个目标都执行过步骤7.3)到7.6),即完成多目标跟踪；否则，对兴趣区域内的下一个目标继续执行步骤7.3)；

步骤8)动态调整参数策略，具体地，根据公式(4)动态更新参数a；

其中，A_i为跟踪队列中第i个跟踪目标的实时跟踪框的面积；m为跟踪队列目标个数；j表示当前执行步骤(8)的次数，j取值为正整数，初始值为1；a_j为第j次更新前参数a的值，即a_j设置为当前a的参数值；a_j+1为第j次更新后参数a的值，即设置当前a的参数值为a_j+1；β为预先设置的可调值，取值范围为0～1.0，在本实施例中，β取值为0.8；在本实施例中，第一次执行步骤5.2)时，使用a＝1600代入公式(1)进行计算，在第一次执行到步骤(8)时，a为1600,因此a₁＝1600,根据公式(4)，计算得到a₂＝1650，并设置a＝a₂，即此时a＝1650；当继续执行步骤5.2)时，使用a＝1650代入公式(2)进行计算，之后在第二次执行到步骤(8)时，a₂＝1650,根据公式(4)，计算得到a₃＝1660，并设置a＝a₃，即此时a＝1660；如此迭代更新参数a。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于包括如下步骤：

1)对相机预置位设置以及相机标定：将进行目标跟踪时相机所处的固定位置设置为预置位，之后截取相机视频流的一帧图像，在其上进行目标跟踪兴趣区域标定；

2)卷积神经网络模型初始化：将卷积网络模型加载到GPU显卡中以及权重参数恢复；

3)获取实时视频流；

4)检查相机工作状态：工作状态正常，将获取的视频流进入步骤5)处理，工作状态不正常，清空跟踪队列并跳过当前视频帧，重复步骤3)；

5)基于背景建模算法的跳帧策略：判断当前帧是否处于非跳帧阶段，其处于非跳帧阶段，直接进入步骤6)，若处于跳帧阶段，则进行进一步处理，处理后发现当前兴趣区域内不存在目标，则跳过当前帧，返回步骤3)；若存在目标，则进入非跳帧阶段，继续执行步骤(6)；

6)使用卷积神经网络模型对兴趣区域进行目标检测，得到当前帧的目标检测结果；

7)基于IoU匹配的目标跟踪，对步骤6)检测到的每一个目标与上一帧跟踪队列里的目标进行匹配，以进行多目标跟踪；

8)动态调整参数策略，动态更新参数a，返回步骤3)。

2.如权利要求1所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于步骤5)中，当前帧处于跳帧阶段，则进行进一步处理的具体过程如下：

5.1)对图像兴趣区域进行背景建模，并进行二值化得到二值图，将二值图进行闭、开运算并搜索矩形边框，得到矩形边框集合RB＝{RB_i＝(x_i,y_i,w_i,h_i)|i＝1,2,…,n}；其中RB_i为第i个矩形边框；(x_i,y_i,w_i,h_i)为第i个矩形边框中心点的横坐标、纵坐标、宽以及高；n为矩形边框数量；

5.2)将不符合公式(1)的矩形边框RB_i从集合RB中删除，更新矩形边框集合RB；

w_i*h_i∈[λ*a,a/λ] (1)

其中，a为动态更新参数，a的初始值为预先设置的可调值，取值范围为0～1.0，并由步骤8)进行动态更新；λ为预先设置的可调值，取值范围为0～1.0；

5.3)更新后的集合RB中的矩形边框数量等于0，表示当前兴趣区域内不存在目标，则跳过当前帧，返回步骤3)；否则进入非跳帧阶段，继续执行步骤6)。

3.如权利要求1所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于步骤7)中的基于IoU匹配的目标跟踪具体包含以下步骤：

7.1)过滤步骤6)得到的当前帧目标检测结果中不在兴趣区域内的目标；

7.2)过滤后兴趣区域内的目标数量为0，表明当前帧不存在目标，因此进入跳帧阶段，对当前帧进行背景建模，返回步骤3)；过滤后的目标数量不为0，则对兴趣区域内的每一个目标D进行下一步骤；

7.3)计算当前兴趣区域内的目标D和跟踪队列中目标Q的IoU；跟踪队列为上一帧跟踪目标的集合，初始化为空集合；IoU根据公式(2)计算；

其中，D_box为当前帧的目标D的边界框，Q_TrackingBox为跟踪队列中目标Q的实时跟踪边界框，∩为求交集，∪为求并集；Area()表示面积计算函数；

7.4)如果IoU≥θ，则认为当前目标D和跟踪队列中目标Q为同一目标，将当前目标D标记为已匹配，将跟踪队列中目标Q标记为已检测，实时跟踪框更新为当前目标D的边界框；其中θ为阈值，θ＝min(0.2,max(0.8,e^-v))，v根据公式(3)计算；

其中，c为跟踪队列中目标Q实时跟踪框的中心点位置，c_s为跟踪队列中目标Q前面第s帧的跟踪框中心点位置；w_j和h_j为跟踪目标Q前面第j帧时跟踪框的宽与高，j的取值范围为1到s；s为预先设置的值，取值范围为正整数；

7.5)移除跟踪队列中未被标记为已检测的跟踪目标；

7.6)将未匹配的目标D加入跟踪队列中，实时跟踪框设置为当前目标D的边界框，即完成对目标D的跟踪；

7.7)如果兴趣区域内的每一个目标都执行过步骤7.3)到7.6)，即完成多目标跟踪；否则，对兴趣区域内的下一个目标继续执行步骤7.3)。

4.如权利要求1所述的一种基于背景建模和IoU匹配的多目标跟踪方法，其特征在于步骤8)中的动态调整参数策略为根据公式(4)动态更新参数a；

其中，A_i为跟踪队列中第i个跟踪目标的实时跟踪框的面积；m为跟踪队列目标个数；j表示当前执行步骤8)的次数，j取值为正整数，初始值为1；a_j为第j次更新前参数a的值，即a_j设置为当前a的参数值；a_j+1为第j次更新后参数a的值，即设置当前a的参数值为a_j+1；β为预先设置的可调值，取值范围为0～1.0。

Images