CN112184770A - 一种基于YOLOv3和改进KCF的目标跟踪方法 - Google Patents

一种基于YOLOv3和改进KCF的目标跟踪方法 Download PDF

Info

Publication number
CN112184770A
CN112184770A CN202011038129.3A CN202011038129A CN112184770A CN 112184770 A CN112184770 A CN 112184770A CN 202011038129 A CN202011038129 A CN 202011038129A CN 112184770 A CN112184770 A CN 112184770A
Authority
CN
China
Prior art keywords
target
tracking
kcf
yolov3
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011038129.3A
Other languages
English (en)
Inventor
高峰
王雅涵
柴兴华
陈彦桥
关俊志
张泽勇
蔡迎哲
耿虎军
张军良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202011038129.3A priority Critical patent/CN112184770A/zh
Publication of CN112184770A publication Critical patent/CN112184770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLOv3和改进KCF的目标跟踪方法，属于视频目标跟踪技术领域。其包括以下步骤：训练目标检测模型；特定目标检索，初始化目标***；获取目标跟踪预测位置；获取目标检测位置；确定目标当前位置。本发明将YOLOv3深度学习目标检测算法与KCF相关滤波目标跟踪算法相结合，充分发挥了检测算法的高准确率和跟踪算法的高实时性优势，有效减少了整体方案的运算量，提高了运算速度的同时降低了硬件需求，并提高了跟踪方法的抗干扰性，进一步提高了目标跟踪的成功率。

Description

一种基于YOLOv3和改进KCF的目标跟踪方法
技术领域
本发明涉及视频目标跟踪技术领域，尤其涉及一种基于YOLOv3和改进KCF的目标跟踪方法。
技术背景
目标跟踪技术在军事制导、视觉导航、机器人、智能交通、公共安全等领域有着广泛的应用。例如，在车辆违章抓拍***中，车辆的跟踪就是必不可少的。在入侵检测中，人、动物、车辆等大型运动目标的检测与跟踪也是整个***运行的关键所在。
目标跟踪是指针对视频或图像序列中指定的目标进行检测与跟踪，从而获得目标的位置、速度和轨迹等信息。目前，常见的目标跟踪算法有YOLOv3算法(深度学习回归检测算法)和KCF算法(核相关滤波跟踪算法)。但是，由于图像常常存在光照条件变化、障碍物遮挡、目标尺度多变等问题，导致目标跟踪的效果不佳。这些问题都对目标跟踪算法的研究提出了挑战。因此，如何能够研究出稳定性高、准确率高、实时性高的目标检测和跟踪算法成为当前最为迫切的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于YOLOv3和改进KCF的目标跟踪方法，本方法充分利用了YOLOv3算法和改进KCF算法的优良性能，提高了跟踪算法的成功率和实时性，在复杂场景下表现出较强的鲁棒性。
为了实现上述目的，本发明采用的技术方案为：
一种基于YOLOv3和改进KCF的目标跟踪方法，其包括以下步骤：
步骤1：在线下收集图片并进行特定目标人工标注，形成训练数据集，使用训练数据集对YOLOv3深度学习模型进行训练，获得目标检测模型；
步骤2：使用训练好的目标检测模型检测特定目标，获取目标位置及尺度信息，初始化KCF目标***，并对其进行训练；
步骤3：采用改进KCF算法对特定目标进行跟踪，获取预测位置；
步骤4：在完成位置预测后，以当前帧目标位置为中心，获取2.5倍目标尺度的区域作为样本区域；在当前帧提取样本区域图像，将该区域图像作为YOLOv3目标检测模型的输入图像，进行特定目标检索，并经过图像拼接得出精确的目标检测位置及尺度信息；
步骤5：计算当前帧图像中特定目标的检测位置与预测位置的交并比，如果交并比小于预设阈值，则用目标检测位置作为当前帧目标位置，否则用预测位置作为当前帧目标位置；使用当前帧目标位置及尺度信息更新KCF目标***；
步骤6：对下一帧图像重复步骤3～步骤5，实现对视频目标的跟踪。
进一步的，所述YOLOv3深度学习模型中，取消YOLOv3在原3个尺度上的输出检测，利用输出的4倍降采样特征融合目标检测层对目标进行检测。
进一步的，所述步骤2中，使用当前帧图像、特定目标的位置及尺度信息初始化KCF目标***，然后采用循环矩阵的方法获取大量的正负样本，从而对KCF目标***进行训练。
进一步的，所述步骤3的具体方式为：
步骤3.1：读取下一帧图像，在检测区域提取Hog特征，通过KCF目标***获取响应图及响应峰值Fmax；
步骤3.2：设定阈值a1，当响应峰值Fmax大于历史响应峰值平均值的a1倍时，则判定跟踪目标未发生严重遮挡，获取跟踪目标的预测位置及尺度信息，转到步骤4；否则，判定跟踪目标发生严重遮挡，转到步骤3.3；
步骤3.3：记录跟踪目标被遮挡的帧数count1，设定阈值b1；若count1>b1，则寻找被遮挡目标失败，转到步骤2，否则转到步骤3.4；
步骤3.4：计算跟踪目标的历史位置坐标差(Δx,Δy)的均值
Figure BDA0002705777990000021
根据跟踪目标上一帧图像的位置坐标(xn-1,yn-1)，预测跟踪目标的当前位置(xn,yn)：
Figure BDA0002705777990000022
默认跟踪目标的尺度信息不变，对预测位置进行标记，转到步骤4。
进一步的，所述步骤4中，若特定目标检索未检测到目标，则使用预测位置代替检测位置。
本发明相对于现有技术的有益效果在于：
1、本发明将传统相关滤波目标跟踪算法的预测位置信息，与深度学习目标检测模型的检测位置信息相结合，提出了一种两段式设计的跟踪算法实施方案，有利于在实施过程的两个阶段中充分验证和客观评价方法整体效果的构成因素影响，同时也便于明确目标跟踪方法的改进与强化目标。
2、本发明充分利用了检测精度与运算速度兼顾的YOLOv3检测算法，并将改进KCF算法的目标预测位置放大2.5倍后作为样本区域，输入到YOLOv3算法中进行目标检测，检测位置用于验证目标跟踪结果，并更新目标***，从而挺高跟踪算法的抗干扰性，进一步提高跟踪算法的准确性和成功率。
附图说明
图1是本发明实施例中目标跟踪方法的整体流程图。
图2(a)是本发明实施例中改进YOLOv3网络结构图。
图2(b)是图2(a)中DBL单元的结构示意图。
图2(c)是图2(a)中Resnet单元的结构示意图。
图3是本发明实施例中改进KCF算法的原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明做进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种基于YOLOv3和改进KCF的目标跟踪方法，其包括如下步骤：
步骤1：训练目标检测模型
1.1从VOC2007/VOC2012/COCO/UAV123数据集中提取图片并转换标注，制作数据训练集；
1.2对改进YOLOv3网络进行训练，获得目标检测模型；为了提高目标检测的准确率，取消YOLOv3在原3个尺度上的输出检测，利用输出的4倍降采样特征融合目标检测层对目标进行检测。
改进的YOLOv3网络结构如图2(a)所示，将第2个残差块输出的4倍降采样特征图与经过2倍上采样的8倍降采样特征图进行拼接，建立输出为4倍降采样的特征融合目标检测层，对目标进行检测；其中，DBL单元包含卷积、批归一化和leaky ReLU激活函数，如图2(b)所示；Resnet单元包含两个DBL单元如图2(c)所示。
步骤2：使用训练好的目标检测模型检测特定目标，获取目标位置及尺度信息，初始化并训练KCF目标***；
2.1使用训练好的目标检测模型对输入视频进行特定目标，在发现目标后获取其位置及尺度信息(width,height)；
2.2使用当前帧图像、特定目标的位置(x,y)及尺度信息(width,height)初始化KCF目标***，采用循环矩阵的方法获取大量的正负样本，训练KCF目标***。
步骤3：如图3所示，使用改进KCF算法进行特定目标跟踪，获取预测位置；
3.1判断跟踪目标是否被遮挡；
读取下一帧图像，在检测区域提取Hog特征，目标***获取响应图及响应峰值Fmax；
根据响应峰值Fmax判断跟踪目标是否被遮挡，设定阈值a1＝0.6，具体判定方法为：当响应峰值Fmax大于历史响应峰值均值的a1倍时，表示跟踪目标未发生严重遮挡，同时获取目标跟踪预测位置及尺度信息，转到步骤4；否则，表示跟踪目标发生严重遮挡，转到步骤3.2；
3.2判断是否跟踪失败；
记录目标被遮挡的帧数count1，设定阈值b1＝60；
当count1≤b1时，表示位置预测方法寻找被遮挡目标进行中，转到步骤3.3；当count1>b1时，表示位置预测方法寻找被遮挡目标失败，转到步骤2；
3.3预测跟踪目标位置；
计算跟踪目标的历史位置坐标差(Δx,Δy)的均值
Figure BDA0002705777990000041
根据跟踪目标上一帧图像的位置坐标(xn-1,yn-1)，预测目标当前位置(xn,yn)：
Figure BDA0002705777990000042
默认跟踪目标的尺度信息(width,height)不变，对预测位置进行标记，转到步骤4。
步骤4：获取样本区域，使用目标检测模型得到目标检测位置及尺度信息；
4.1在完成位置预测后，以当前帧目标位置为中心，取目标尺度放大2.5倍的区域作为样本区域；
4.2在当前帧提取样本区域图像，将该区域图像作为YOLOv3目标检测模型的输入图像，进行特定目标检索，并经过图像拼接得出精确的目标检测位置及尺度信息，未检测到目标时，使用预测位置代替检测位置。
步骤5：计算检测位置与预测位置的交并比iou，确定当前目标位置，更新目标***；
5.1计算当前帧图像中特定目标的检测位置与跟踪预测位置的交并比iou：
Figure BDA0002705777990000051
5.2设定阈值c1＝0.6，当交并比iou小于预设阈值c1，使用目标检测位置及尺度信息作为当前帧目标位置，否则使用跟踪预测位置及尺度信息作为当前帧目标位置及尺度信息；
5.3使用当前帧目标位置及尺度信息，更新KCF目标***。
步骤6：对下一帧图像重复步骤3～步骤5，完成视频目标跟踪。
总之，本发明将YOLOv3深度学习目标检测算法与KCF相关滤波目标跟踪算法相结合，充分发挥了检测算法的高准确率和跟踪算法的高实时性优势，有效减少了整体方案的运算量，提高了运算速度并降低了硬件需求，并提高了跟踪方法的抗干扰性，进一步提高了目标跟踪的成功率。
需要说明的是，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，并非因此局限本发明的权利范围，凡运用本发明说明书及其附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (5)

1.一种基于YOLOv3和改进KCF的目标跟踪方法，其特征在于，包括以下步骤：
步骤1：在线下收集图片并进行特定目标人工标注，形成训练数据集，使用训练数据集对YOLOv3深度学习模型进行训练，获得目标检测模型；
步骤2：使用训练好的目标检测模型检测特定目标，获取目标位置及尺度信息，初始化KCF目标***，并对其进行训练；
步骤3：采用改进KCF算法对特定目标进行跟踪，获取预测位置；
步骤4：在完成位置预测后，以当前帧目标位置为中心，获取2.5倍目标尺度的区域作为样本区域；在当前帧提取样本区域图像，将该区域图像作为YOLOv3目标检测模型的输入图像，进行特定目标检索，并经过图像拼接得出精确的目标检测位置及尺度信息；
步骤5：计算当前帧图像中特定目标的检测位置与预测位置的交并比，如果交并比小于预设阈值，则用目标检测位置作为当前帧目标位置，否则用预测位置作为当前帧目标位置；使用当前帧目标位置及尺度信息更新KCF目标***；
步骤6：对下一帧图像重复步骤3～步骤5，实现对视频目标的跟踪。
2.根据权利要求1所述的一种基于YOLOv3和改进KCF的目标跟踪方法，其特征在于，所述YOLOv3深度学习模型中，取消YOLOv3在原3个尺度上的输出检测，利用输出的4倍降采样特征融合目标检测层对目标进行检测。
3.根据权利要求1所述的一种基于YOLOv3和改进KCF的目标跟踪方法，其特征在于，所述步骤2中，使用当前帧图像、特定目标的位置及尺度信息初始化KCF目标***，然后采用循环矩阵的方法获取大量的正负样本，从而对KCF目标***进行训练。
4.根据权利要求1所述的一种基于YOLOv3和改进KCF的目标跟踪方法，其特征在于，所述步骤3的具体方式为：
步骤3.1：读取下一帧图像，在检测区域提取Hog特征，通过KCF目标***获取响应图及响应峰值Fmax；
步骤3.2：设定阈值a1，当响应峰值Fmax大于历史响应峰值平均值的a1倍时，则判定跟踪目标未发生严重遮挡，获取跟踪目标的预测位置及尺度信息，转到步骤4；否则，判定跟踪目标发生严重遮挡，转到步骤3.3；
步骤3.3：记录跟踪目标被遮挡的帧数count1，设定阈值b1；若count1>b1，则寻找被遮挡目标失败，转到步骤2，否则转到步骤3.4；
步骤3.4：计算跟踪目标的历史位置坐标差(Δx,Δy)的均值
Figure FDA0002705777980000021
根据跟踪目标上一帧图像的位置坐标(xn-1,yn-1)，预测跟踪目标的当前位置(xn,yn)：
Figure FDA0002705777980000022
默认跟踪目标的尺度信息不变，对预测位置进行标记，转到步骤4。
5.根据权利要求1所述的一种基于YOLOv3和改进KCF的目标跟踪方法，其特征在于，所述步骤4中，若特定目标检索未检测到目标，则使用预测位置代替检测位置。
CN202011038129.3A 2020-09-28 2020-09-28 一种基于YOLOv3和改进KCF的目标跟踪方法 Pending CN112184770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011038129.3A CN112184770A (zh) 2020-09-28 2020-09-28 一种基于YOLOv3和改进KCF的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011038129.3A CN112184770A (zh) 2020-09-28 2020-09-28 一种基于YOLOv3和改进KCF的目标跟踪方法

Publications (1)

Publication Number Publication Date
CN112184770A true CN112184770A (zh) 2021-01-05

Family

ID=73944377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011038129.3A Pending CN112184770A (zh) 2020-09-28 2020-09-28 一种基于YOLOv3和改进KCF的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112184770A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128362A (zh) * 2021-03-31 2021-07-16 广东工业大学 一种基于yolov3的无人机视角下小目标快速检测方法
CN113239842A (zh) * 2021-05-25 2021-08-10 三门峡崤云信息服务股份有限公司 一种基于图像识别的天鹅检测方法及装置
CN113379793A (zh) * 2021-05-19 2021-09-10 成都理工大学 基于孪生网络结构和注意力机制的在线多目标跟踪方法
CN113674307A (zh) * 2021-10-20 2021-11-19 湖南大学 一种目标检测跟踪方法、装置及设备
CN114066936A (zh) * 2021-11-06 2022-02-18 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法
CN108352070A (zh) * 2015-11-13 2018-07-31 松下知识产权经营株式会社 移动体追踪方法、移动体追踪装置以及程序
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
CN110111363A (zh) * 2019-04-28 2019-08-09 深兰科技（上海）有限公司 一种基于目标检测的跟踪方法及设备
CN110490905A (zh) * 2019-08-15 2019-11-22 江西联创精密机电有限公司 一种基于YOLOv3和DSST算法的目标跟踪方法
CN110706266A (zh) * 2019-12-11 2020-01-17 北京中星时代科技有限公司 一种基于YOLOv3的空中目标跟踪方法
CN110751671A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法
CN111597904A (zh) * 2020-04-17 2020-08-28 许继集团有限公司 用于隧道电缆支架倾斜的识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352070A (zh) * 2015-11-13 2018-07-31 松下知识产权经营株式会社 移动体追踪方法、移动体追踪装置以及程序
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法
CN110751671A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
CN110111363A (zh) * 2019-04-28 2019-08-09 深兰科技（上海）有限公司 一种基于目标检测的跟踪方法及设备
CN110490905A (zh) * 2019-08-15 2019-11-22 江西联创精密机电有限公司 一种基于YOLOv3和DSST算法的目标跟踪方法
CN110706266A (zh) * 2019-12-11 2020-01-17 北京中星时代科技有限公司 一种基于YOLOv3的空中目标跟踪方法
CN111597904A (zh) * 2020-04-17 2020-08-28 许继集团有限公司 用于隧道电缆支架倾斜的识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128362A (zh) * 2021-03-31 2021-07-16 广东工业大学 一种基于yolov3的无人机视角下小目标快速检测方法
CN113379793A (zh) * 2021-05-19 2021-09-10 成都理工大学 基于孪生网络结构和注意力机制的在线多目标跟踪方法
CN113379793B (zh) * 2021-05-19 2022-08-12 成都理工大学 基于孪生网络结构和注意力机制的在线多目标跟踪方法
CN113239842A (zh) * 2021-05-25 2021-08-10 三门峡崤云信息服务股份有限公司 一种基于图像识别的天鹅检测方法及装置
CN113674307A (zh) * 2021-10-20 2021-11-19 湖南大学 一种目标检测跟踪方法、装置及设备
CN114066936A (zh) * 2021-11-06 2022-02-18 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法
CN114066936B (zh) * 2021-11-06 2023-09-12 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法

Similar Documents

Publication Publication Date Title
CN112184770A (zh) 一种基于YOLOv3和改进KCF的目标跟踪方法
Chen et al. Real time object detection, tracking, and distance and motion estimation based on deep learning: Application to smart mobility
US10997746B2 (en) Feature descriptor matching
Hausler et al. Multi-process fusion: Visual place recognition using multiple image processing methods
CN111460984B (zh) 一种基于关键点与梯度均衡损失的全局车道线检测方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
Wang et al. Soft-weighted-average ensemble vehicle detection method based on single-stage and two-stage deep learning models
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络***
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及***
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN115861772A (zh) 基于RetinaNet的多尺度单阶段目标检测方法
CN113313094B (zh) 一种基于卷积神经网络的车载图像目标检测方法和***
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN114627441A (zh) 非结构化道路识别网络训练方法、应用方法及存储介质
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和***
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN113361528B (zh) 一种多尺度目标检测方法及***
Wang et al. A novel small-scale pedestrian detection method base on residual block group of CenterNet
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN112418207B (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及***
Yang et al. A detection model of the complex dynamic traffic environment for unmanned vehicles
CN114067359B (zh) 融合人体关键点与可见部位注意力特征的行人检测方法
CN113706580B (zh) 一种基于相关滤波***的目标跟踪方法、***、设备及介质
CN113221604B (zh) 目标识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105