CN113313008B - 基于YOLOv3网络和均值漂移的目标与识别跟踪方法 - Google Patents

Abstract

本发明是一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法，包括如下步骤：S1：制作目标数据集，将目标数据集输入YOLOv3算法训练网络；S2：将视频图像逐帧输入YOLOv3网络，检测完成后YOLOv3网络输出检测目标预测标签向量；S3：将检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法，以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小；S4：对目标进行跟踪；S5：判断视频是否结束。该方法解决了传统均值漂移目标跟踪算法搜索检测框的尺度不匹配问题，改善了传统均值漂移目标跟踪算法的局限性，提高了目标识别与跟踪算法的性能。

Description

基于YOLOv3网络和均值漂移的目标与识别跟踪方法

技术领域

本发明属于计算机目标检测和目标跟踪算法技术领域，具体的说涉及一种基于YOLOv3网络和均值漂移的目标识别与跟踪方法研究。

背景技术

城市交通规模的扩增与配套设施的完善改进是我国高速发展的重要特征之一，同时城市交通的持续发展也提升了人们的工作效率，使人们的生活旅行更加轻松便利，与此同时，我国机动车的保有量出现爆发式上涨，机动车数量的爆发式上涨带来了严重的拥堵问题，人们的出行便利受到了极大的挑战，道路拥堵的同时也加剧了能源消耗的和尾气污染，因此，人们对于改善交通拥堵问题的要求也愈发高涨。

结合计算机技术和深度学习方法对智能交通***(Intelligent TransportationSystem，ITS)数据进行分析、预测，可以有效缓解道路拥堵，交通参数能够实时反映道路情况，其主要包括：车流量、行人流量、道路拥挤程度等等。

ZL2012101466279公开了一种基于快速鲁棒特征匹配的仿射运动目标跟踪算法，这种算法将快速鲁棒特征的检测和匹配过程融入连续自适应均值漂移算法框架，即在目标区域和搜索区域提取包含图像信息的快速鲁棒特征并利用近似最近邻搜索对特征点进行匹配，此方法利用提纯后的匹配结果对连续自适应均值漂移算法搜索区域进行约束和更新，但是此方法需要限定区域，存在局限性。

ZL2018115415655公开了一种面向城市交通的移动目标检测及跟踪方法，采用所得到的多目标跟踪算法获取目标运动轨迹并对目标的完整轨迹进行储存，达到对视频范围内的目标进行自动检测、分类及持续跟踪，获得目标的移动轨迹信息的目的。本发明能够利用连续的图像精确的获得不同目标的类型及其移动轨迹信息，但是无法实时跟踪目标。

在ITS中，可以采用基于YOLOv3算法网络的目标识别检测方法实现对智能交通网络中各种目标的计算机识别，同时，采用均值漂移目标跟踪算法可以实现计算机对各种识别目标的移动跟踪，但是传统的均值漂移目标跟踪算法存在一定的缺陷，其搜索检测框的尺度保持不变，而智能交通网络中的各种目标在随时保持运动，因其搜索检测框尺度大小和检测目标尺度大小的不匹配，将会造成计算机目标跟踪的精度降低，甚至导致跟踪失败的情况发生，严重影响了ITS解决道路拥堵问题的动态调度策略的及时性，而均值漂移目标跟踪算法搜索检测框的尺度自适应问题是解决以上问题的难点。

发明内容

为了解决上述问题，本发明提供了一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法，解决了传统均值漂移目标跟踪算法搜索检测框的尺度不匹配问题，从而在ITS中可以进行高效地运行计算机目标识别与跟踪算法。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法，该方法应用于ITS智能交通网络中，具体包括如下步骤：

S1：根据需要检测的目标种类，制作目标数据集，将数据集输入YOLOv3 算法的卷积神经网络以训练该网络，经过网络的特征提取与分析后得到目标标签的预测向量，与真实标签向量比较计算损失函数，通过梯度下降法使损失函数不断下降直至一定阈值时，YOLOv3网络针对需要检测的目标种类的训练完成，该训练完成的YOLOv3针对未知物体进行目标检测；

S2：输入ITS智能交通网络中的高清视频，并将视频图像逐帧输入已经训练完成的YOLOv3网络，该网络可以检测识别视频帧中是否存在目标检测物体，检测完成后YOLOv3网络输出检测目标预测标签向量，包含检测目标的边界框尺寸等信息；在视频帧图像输入时，因图像的尺寸可能不同，所以需要将图像尺寸调整合适后再输入YOLOv3网络算法；

S3：将YOLOv3网络输出的检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法，以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小；

S4：利用均值漂移目标跟踪算法对目标进行跟踪；

S5：判断视频是否结束，若未结束则返回步骤S2继续对视频帧进行目标识别和跟踪，否则算法结束。

本发明的有益效果是：本发明通过YOLOv3目标识别算法输出的目标边界框尺度大小作为均值漂移目标跟踪算法搜索检测框的尺度大小，解决了传统均值漂移目标跟踪算法搜索检测框的尺度不匹配问题，改善了传统均值漂移目标跟踪算法的局限性，提高了目标识别与跟踪算法的性能。

附图说明

图1为本发明所述方法的流程示意图。

图2为本发明所述方法中YOLOv3网络对车辆目标的检测结果。

图3为本发明所述方法中车辆目标的识别与跟踪示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，在本发明实施例中，提供了一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法，所述方法应用于ITS智能交通网络中，该方法通过YOLOv3目标识别算法输出的目标边界框尺度大小作为均值漂移目标跟踪算法搜索检测框的尺度大小，改善了传统均值漂移目标跟踪算法的局限性，提高了计算机目标识别与跟踪算法的性能。

具体方法步骤如下：

S1：根据需要检测的目标种类，制作目标数据集，将数据集输入YOLOv3 算法的卷积神经网络以训练该网络，经过网络的特征提取与分析后得到目标标签的预测向量，与真实标签向量比较计算损失函数，通过梯度下降法使损失函数不断下降直至一定阈值时，YOLOv3网络针对需要检测的目标种类的训练完成，该训练完成的YOLOv3可以针对未知物体进行目标检测；

具体的，检测的目标种类可以根据应用场景进行自定义，如在ITS智能交通网络中可以设定检测的目标为车辆、车辆牌照、行人、非机动车、交通信号灯等，在图2中仅展示了车辆目标的检测识别，但本发明并不局限于车辆目标检测。

S2：输入ITS智能交通网络中的高清视频，并将视频图像逐帧输入已经训练完成的YOLOv3网络，该网络可以检测识别视频帧中是否存在目标检测物体，检测完成后YOLOv3网络输出检测目标预测标签向量，包含检测目标的边界框尺寸等信息；

具体的，在视频帧图像输入时，因图像的尺寸可能不同，所以需要将图像尺寸调整合适后再输入YOLOv3网络算法；

具体的，YOLOv3网络输出检测目标预测标签向量

如下所示：

其中，P_c1表示检测目标是目标种类1的概率，b_x1,b_y1表示该目标中心点在视频图像帧中的坐标位置，b_w1,b_h1表示该目标的边界框尺寸大小，因需求的检测目标种类可以自定义，数量不确定，因此用省略号表示其他目标种类的检测情况，参数形式与目标种类1的参数形式相似。

S3：将YOLOv3网络输出的检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法，以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小；

具体的，将YOLOv3网络每一图像帧输出预测标签向量中的目标边界框信息输入给均值漂移目标跟踪算法，后者算法可以及时快速地调整目标搜索检测框大小，因此实现了均值漂移目标跟踪算法的尺度自适应，可以解决检测框与目标边界框尺度不匹配带来的精度下降问题。

S4：利用均值漂移目标跟踪算法对目标进行跟踪；

具体的，设搜索区域中心坐标为x₀，包含像素点n个，即{x_i},i＝1,2,…,n。目标模型的归一化直方图向量为：

其中，m为目标特征数量；c是目标模型归一化常量；目标区域的带宽为h；δ[(x_i)-u]为冲激函数，若x_i点的像素值与第u个特征相等，其值为1，否则为0。C为归一化常数，使

公式如下：

k(x)是核函数，公式如下：

视频帧中目标保持移动的同时，目标跟踪算法一直迭代搜索候选目标，若候选目标区域中心坐标为y₀，候选区域像素用{y_i},i＝1,2,…,n表示，则候选模型的归一化直方图向量为：

式中，

为候选模型归一化常量；利用Bhattacharya函数评估候选模型与目标是否足够相似，设目标区域与候选模型之间的特征分布距离为：

其中，ρ(y)为Bhattacharya函数，其值越大则目标与候选模型越相似，当Bhattacharya函数获得最优解时迭代中断，同时显示车辆跟踪的结果；否则将持续迭代直至达到阈值。同时由基于YOLOv3的目标识别算法得到的目标识别边界框用于更新目标模型，因此跟踪算法可以实时跟踪目标。

S5：判断视频是否结束，若未结束则返回步骤S2继续对视频帧进行目标识别和跟踪，否则算法结束。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (5)

1.一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法，其特征在于：所述方法包括如下步骤：

S1：制作目标数据集，将目标数据集输入YOLOv3算法的卷积神经网络以训练该网络，YOLOv3网络针对需要检测的目标种类的训练完成，该训练完成的YOLOv3针对未知物体进行目标检测；

S2：输入ITS智能交通网络中的高清视频，并将视频图像逐帧输入已经训练完成的YOLOv3网络，检测完成后YOLOv3网络输出检测目标预测标签向量；S3：将YOLOv3网络输出的检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法，以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小；

S4：利用均值漂移目标跟踪算法对目标进行跟踪，跟踪方法具体为：

设搜索区域中心坐标为x₀，包含像素点n个，即{x_i},i＝1,2,…,n，目标模型的归一化直方图向量为：

其中，m为目标特征数量；c是目标模型归一化常量；目标区域的带宽为h；δ[(x_i)-u]为冲激函数，若x_i点的像素值与第u个特征相等，其值为1，否则为0，C为归一化常数，使

公式如下：

k(x)是核函数，公式如下：

视频帧中目标保持移动的同时，目标跟踪算法一直迭代搜索候选目标，若候选目标区域中心坐标为y₀，候选区域像素用{y_i},i＝1,2,…,n表示，则候选模型的归一化直方图向量为：

式中，

为候选模型归一化常量；利用Bhattacharya函数评估候选模型与目标是否足够相似，设目标区域与候选模型之间的特征分布距离为：

其中，ρ(y)为Bhattacharya函数，其值越大则目标与候选模型越相似，当Bhattacharya函数获得最优解时迭代中断，同时显示车辆跟踪的结果；否则将持续迭代直至达到阈值；

S5：判断视频是否结束，若未结束则返回步骤S2继续对视频帧进行目标识别和跟踪，否则算法结束。

2.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法，其特征在于：在步骤S2视频帧图像输入时，将图像尺寸调整合适后再输入YOLOv3网络算法。

3.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法，其特征在于：在步骤S3中将YOLOv3网络每一图像帧输出预测标签向量中的目标边界框信息输入给均值漂移目标跟踪算法。

4.根据权利要求1或2所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法，其特征在于：在步骤S2中YOLOv3网络输出检测目标预测标签向量

如下所示：

其中，P_c1表示检测目标是目标种类1的概率，b_x1,b_y1表示该目标中心点在视频图像帧中的坐标位置，b_w1,b_h1表示该目标的边界框尺寸大小，省略号表示其他目标种类的检测情况。

5.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法，其特征在于：该方法应用于ITS智能交通网络中。

Images