CN108320301B - 一种基于跟踪学习检测的目标跟踪优化方法 - Google Patents

一种基于跟踪学习检测的目标跟踪优化方法 Download PDF

Info

Publication number
CN108320301B
CN108320301B CN201810079102.5A CN201810079102A CN108320301B CN 108320301 B CN108320301 B CN 108320301B CN 201810079102 A CN201810079102 A CN 201810079102A CN 108320301 B CN108320301 B CN 108320301B
Authority
CN
China
Prior art keywords
frame
image video
sequence
tracking
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810079102.5A
Other languages
English (en)
Other versions
CN108320301A (zh
Inventor
赵亦工
李长桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810079102.5A priority Critical patent/CN108320301B/zh
Publication of CN108320301A publication Critical patent/CN108320301A/zh
Application granted granted Critical
Publication of CN108320301B publication Critical patent/CN108320301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于跟踪学习检测的目标跟踪优化方法，属于计算机视觉领域，其主要思路为：确定L帧灰度图像视频帧序列，每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L‑1帧灰度图像视频帧序列中的跟踪目标位置未知；t∈{1,2,…,L}，t的初始值为1；在第t帧目标限定框
Figure DDA0001560468790000011
中选取
Figure DDA0001560468790000012
个均匀跟踪点，进而在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，进而确定第t+1帧跟踪目标的最终位置；令t的值加1，直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。

Description

一种基于跟踪学习检测的目标跟踪优化方法
技术领域
本发明属于计算机视觉领域，特别涉及一种基于跟踪学习检测的目标跟踪优化方法，即一种基于跟踪-学习-检测(Tracking-Learning-Detection，TLD)的目标跟踪优化方法，适用于视频帧序列中单个目标长时间的稳定跟踪。
背景技术
近些年来，目标检测和目标跟踪一直是计算视觉领域中备受瞩目的科技前沿方向，主要包括从视频帧序列中检测和识别出感兴趣的运动目标，然后持续稳定地跟踪运动目标，并对运动目标的运动状态实时进行详尽描绘；目标检测和目标跟踪涉及到人工智能、图像处理和模式识别等多领域的学科。
随着相关领域学科的飞速发展，目标检测和目标跟踪无论在民用方面还是军事方面都拥有着无可比拟的应用潜力，已经成为了一项现实生活中无法或缺的非常重要的科学技术；在经过科研工作者长达数十年的研究中，很多优秀的目标跟踪算法一一问世，例如基于粒子滤波的目标跟踪算法、基于运动目标建模的目标跟踪算法和基于卡尔曼滤波的目标跟踪算法等等，这些经典的目标跟踪算法都有自己的局限性，不能很好的适用于更广泛的场景，缺乏对目标长时间实时跟踪的能力，缺乏自我学习和自我调整的能力，随着跟踪时间的变长，跟踪效果越来越差，最终导致跟踪的失败。
目标跟踪算法TLD的提出很好的解决了视频帧序列中单目标长时间实时跟踪的问题，该算法首次将跟踪和检测结合起来，二者相互协作，相辅相成，面对复杂的跟踪场景，如遮挡、光照变化、尺度变换等有较强的抗干扰能力；当目标跟踪算法TLD跟踪失败时，重新检测能有效再次识别到跟踪目标，有效的提高了该跟踪算法的鲁棒性，此外目标跟踪算法TLD创造性的结合了跟踪和检测的结果进行在线学习，自我修正，有效的的提高了该跟踪算法长时间实时跟踪的稳定性。
目标跟踪算法TLD可以分为跟踪阶段、检测阶段和学习阶段三个阶段，跟踪阶段和检测阶段相互独立，学习阶段根据跟踪阶段和检测阶段的结果进行在线学习，不断完善和稳定目标跟踪算法TLD的跟踪能力；其中跟踪阶段和检测阶段的最终输出分别为跟踪阶段限定框和检测阶段限定框，结合跟踪阶段和检测阶段得到的最终输出称为目标限定框；目标跟踪算法TLD的鲁棒性和稳定性值得肯定，但是该算法总体的实时性一般，有待提高，特别是视频帧序列中的检测阶段，每次都要对整个灰度图像视频帧序列进行全局扫描，严重影响了检测阶段的检测速度，进而降低了整个目标跟踪算法TLD的实时性。
发明内容
针对上述现有技术存在的不足，本发明的目的在于提出一种基于跟踪学习检测的目标跟踪优化方法，该种基于跟踪学习检测的目标跟踪优化方法充分考虑了检测阶段的扫描策略，在跟踪阶段对跟踪目标进行马尔科夫预测，在检测阶段利用跟踪阶段的结果缩小扫描范围，并使用尺度等级无序的滑动窗口进行扫描，有效地提高了目标跟踪算法TLD的实时性。
为达到上述技术目的，本发明采用如下技术方案予以实现。
一种基于跟踪学习检测的目标跟踪优化方法，包括以下步骤：
步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数；
初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1；确定第1帧目标限定框b1 O和第1帧灰度图像视频帧序列的正负样本库L1；
步骤2，在第t帧目标限定框bt O中选取Nt U个均匀跟踪点，并根据第t帧灰度图像视频帧序列的正负样本库Lt，在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；
步骤3，从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
步骤4，根据第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，得到第t+1帧目标限定框，进而确定第t+1帧跟踪目标的最终位置；
步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。
本发明的有益效果：
本发明方法对目标跟踪算法TLD中的检测阶段进行改进，在跟踪阶段加入了马尔科夫预测的方法，并结合归一化互相关预测和马尔科夫预测的结果，在检测阶段使用尺度等级无序的搜索策略对缩小后的包含跟踪目标的区域进行搜索，有效降低了目标跟踪算法TLD的运算量，提高了目标跟踪算法TLD的实时性。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明的一种基于跟踪学习检测的目标跟踪优化方法流程图；
图2为目标跟踪算法TLD的框架图。
具体实施方式
参照图1，为本发明的一种基于跟踪学习检测的目标跟踪优化方法流程图；其中所述基于跟踪学习检测的目标跟踪优化方法，包括以下步骤：
步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数。
初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1。
将以第1帧灰度图像视频帧序列中跟踪目标为中心、高度为h1、宽度为w1的矩形框，记为第1帧目标限定框
Figure BDA0001560468770000031
所述第1帧目标限定框
Figure BDA0001560468770000032
是包含第1帧灰度图像视频帧序列中跟踪目标的目标限定框，上标O表示目标限定框，0<h1≤N，0<w1≤M。
以第1帧灰度图像视频帧序列的第1行第1列像素点为原点O，并以水平向右为x轴正方向、以竖直向下为y轴正方向建立第1帧灰度图像视频帧序列坐标系,则第1帧目标限定框
Figure BDA0001560468770000033
中第1行第1列像素点坐标为
Figure BDA0001560468770000034
Figure BDA0001560468770000035
表示第1帧目标限定框
Figure BDA0001560468770000036
的x轴坐标，
Figure BDA0001560468770000037
表示第1帧目标限定框
Figure BDA0001560468770000038
的y轴坐标，
Figure BDA0001560468770000039
表示第1帧目标限定框
Figure BDA00015604687700000310
的宽度，
Figure BDA00015604687700000311
表示第1帧目标限定框
Figure BDA00015604687700000312
的高度；
Figure BDA00015604687700000313
Figure BDA0001560468770000041
根据目标跟踪算法TLD使用大小为
Figure BDA0001560468770000042
的滑动窗口
Figure BDA0001560468770000043
对第t帧灰度图像视频帧序列进行全局扫描，扫描区域为第t帧灰度图像视频帧序列全局，总计得到
Figure BDA0001560468770000044
个扫描窗口，每个扫描窗口包含一个图像块，进而得到
Figure BDA0001560468770000045
个图像块，其中第k个图像块为
Figure BDA0001560468770000046
Figure BDA0001560468770000047
上标P表示扫描得到的图像块，上标D表示检测阶段，
Figure BDA0001560468770000048
下标st表示第t帧灰度图像视频帧序列的尺度等级，
Figure BDA0001560468770000049
表示第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度，
Figure BDA00015604687700000410
表示第t帧灰度图像视频帧序列尺度等级为st的滑动窗口宽度，
Figure BDA00015604687700000411
将第t帧灰度图像视频帧序列的初始滑动窗口表示为swt,0，第t帧灰度图像视频帧序列的初始滑动窗口swt,0的大小为ht,0×wt,0，根据经验值，在第1帧灰度图像视频帧序列中设定h1,0＝w1,0＝15，其余L-1帧中，若第t'帧目标限定框
Figure BDA00015604687700000412
同时满足0<ht'≤N，0<wt'≤M，则第t'+1帧灰度图像视频帧序列的初始滑动窗口swt'+1,0大小等同于第t'帧目标限定框
Figure BDA00015604687700000413
的大小，即
Figure BDA00015604687700000414
若第t'帧目标限定
Figure BDA00015604687700000415
框不满足0<ht'≤N，0<wt'≤M中任意一个条件，则第t'+1帧灰度图像视频帧序列初始滑动窗口swt'+1,0大小设定为ht'+1,0＝wt'+1,0＝15；其中，t'∈{2,3,…,L}，t'+1∈{3,4,…,L}。
所述第t帧目标限定框
Figure BDA00015604687700000416
是包含第t帧灰度图像视频帧序列中跟踪目标的目标限定框，尺度等级st的值加1等同于第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度
Figure BDA00015604687700000417
和宽度
Figure BDA00015604687700000418
分别放大m倍，放大m倍后第t帧灰度图像视频帧序列尺度等级为st的高度和宽度非整数时分别向上取整；尺度等级st的值减1等同于第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度和宽度分别缩小m倍，缩小m倍后第t帧灰度图像视频帧序列尺度等级为st的高度和宽度非整数时分别向下取整；其中，m表示设定常数，根据经验值取m＝1.2。
设定第t帧灰度图像视频帧序列全局扫描采用NG个尺度等级，NG为正奇数，NG≥3,NG个尺度等级依次为
Figure BDA00015604687700000419
即第t帧灰度图像视频帧序列的尺度等级
Figure BDA0001560468770000051
根据经验值取NG＝21，21个尺度等级依次为-10,-9,…,0,…,9,10，此时st∈{-10,…,-1,0,1,…,10}，上标G表示全局扫描；将相应尺度等级st下对应的缩放倍数记为
Figure BDA0001560468770000052
第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度
Figure BDA0001560468770000053
第t帧灰度图像视频帧序列尺度等级为st的滑动窗口宽度
Figure BDA0001560468770000054
若
Figure BDA0001560468770000055
或
Figure BDA0001560468770000056
则停止使用大小为
Figure BDA0001560468770000057
的滑动窗口
Figure BDA0001560468770000058
对第t帧灰度图像视频帧序列进行全局扫描，全局扫描使用大小为
Figure BDA0001560468770000059
的滑动窗口
Figure BDA00015604687700000510
按照尺度等级st从小到大的顺序依次对第t帧灰度图像视频帧序列进行扫描，其中尺度等级st从小到大的顺序依次为-10,-9,…-1,0,1,…9,10；将第t帧灰度图像视频帧序列尺度等级为st的滑动窗口水平方向上步长记为
Figure BDA00015604687700000511
将第t帧灰度图像视频帧序列尺度等级为st的滑动窗口竖直方向上步长记为
Figure BDA00015604687700000512
第t帧灰度图像视频帧序列尺度等级为st的滑动窗口水平方向上步长
Figure BDA00015604687700000513
和第t帧灰度图像视频帧序列尺度等级为st的滑动窗口竖直方向上步长
Figure BDA00015604687700000514
分别为相应尺度等级下第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度
Figure BDA00015604687700000515
和第t帧灰度图像视频帧序列尺度等级为st的滑动窗口宽度
Figure BDA00015604687700000516
的10％，即
Figure BDA00015604687700000517
Figure BDA00015604687700000518
表示向上取整，上标H表示水平方向，上标V表示竖直方向，上标G表示全局扫描。
将第t帧目标限定框
Figure BDA00015604687700000519
包含的图像块记为Pt O，对第t帧灰度图像视频帧序列的
Figure BDA00015604687700000520
个图像块进行重叠度的比较，依次计算第t帧灰度图像视频帧序列的
Figure BDA00015604687700000521
个图像块分别与第t帧目标限定框
Figure BDA00015604687700000522
包含的图像块Pt O的重叠度，总计得到
Figure BDA00015604687700000523
个重叠度，
Figure BDA00015604687700000524
个重叠度中第k个重叠度为
Figure BDA00015604687700000525
其表达式为：
Figure BDA00015604687700000526
其中，
Figure BDA0001560468770000061
表示第t帧灰度图像视频帧序列的第k个图像块
Figure BDA0001560468770000062
和第t帧目标限定框
Figure BDA0001560468770000063
包含的图像块Pt O的重叠度，
Figure BDA0001560468770000064
根据经验值取omin＝0，omax＝1；
Figure BDA0001560468770000065
表示第t帧灰度图像视频帧序列的第k个图像块
Figure BDA0001560468770000066
的面积，
Figure BDA0001560468770000067
Figure BDA0001560468770000068
表示第t帧目标限定框
Figure BDA0001560468770000069
包含的图像块Pt O的面积，
Figure BDA00015604687700000610
Figure BDA00015604687700000611
表示第t帧灰度图像视频帧序列的第k个图像块
Figure BDA00015604687700000612
和第t帧目标限定框
Figure BDA00015604687700000613
包含的图像块Pt O重叠部分的面积，
Figure BDA00015604687700000614
min表示取最小值。
当t取值为1时，按照公式(1)依次计算第1帧灰度图像视频帧序列的
Figure BDA00015604687700000615
个图像块分别与第1帧目标限定框
Figure BDA00015604687700000616
包含的图像块P1 O的重叠度，进而总计得到
Figure BDA00015604687700000617
个重叠度，
Figure BDA00015604687700000618
个重叠度中第k个重叠度为
Figure BDA00015604687700000619
若
Figure BDA00015604687700000620
则将
Figure BDA00015604687700000621
个重叠度中第k个重叠度
Figure BDA00015604687700000622
对应图像块记为第a个满足要求的图像块，a的初始值为1，令a的值加1；遍历
Figure BDA00015604687700000623
个重叠度，进而得到NN1'个满足要求的图像块；其中，a∈{1,2,…,NN1'}，根据经验值取θN＝0.2，
Figure BDA00015604687700000624
根据方差分类法对NN1'个满足要求的图像块进行方差分类，得到NN1个图像块，0≤NN1≤NN1'；最终对NN1个图像块使用双线性插值算法进行归一化处理，得到包含NN1个图像块的负样本库NL1，N表示负样本。
若
Figure BDA00015604687700000625
则将
Figure BDA00015604687700000626
个重叠度中第k个重叠度
Figure BDA00015604687700000627
对应图像块记为第a'个满足要求的图像块，a'的初始值为1，令a'的值加1；遍历
Figure BDA00015604687700000628
个重叠度，进而得到NP1'个满足要求的图像块；其中，a'∈{1,2,…,NP1'}，根据经验值取θP＝0.8，
Figure BDA00015604687700000629
根据方差分类法对NP1'个满足要求的图像块进行方差分类得到NP1个图像块，0≤NP1≤NP1'，最终对NP1个图像块使用双线性插值算法进行归一化处理得到包含NP1个图像块的正样本库PL1，P表示正样本；将包含NP1个图像块的正样本库PL1和包含NN1个图像块的负样本库NL1记为第1帧灰度图像视频帧序列的正负样本库L1。
步骤2，进入跟踪阶段：使用大小为K×K的均匀网格在第t帧目标限定框
Figure BDA00015604687700000630
中选取
Figure BDA00015604687700000631
个均匀跟踪点，
Figure BDA0001560468770000071
根据经验值取K＝10，具体步骤为：根据第t帧目标限定框
Figure BDA0001560468770000072
中第1行第1列像素点坐标为
Figure BDA0001560468770000073
确定第t帧目标限定框
Figure BDA0001560468770000074
水平方向相邻均匀跟踪点之间间隔为
Figure BDA0001560468770000075
第t帧目标限定框
Figure BDA0001560468770000076
竖直方向相邻均匀跟踪点之间间隔为
Figure BDA0001560468770000077
Figure BDA0001560468770000078
表示向下取整,
Figure BDA0001560468770000079
其中第j个均匀跟踪点为ut,j，
Figure BDA00015604687700000710
上标U表示均匀跟踪点，
Figure BDA00015604687700000711
表示第t帧目标限定框
Figure BDA00015604687700000712
的x轴坐标，
Figure BDA00015604687700000713
表示第t帧目标限定框
Figure BDA00015604687700000714
的y轴坐标，
Figure BDA00015604687700000715
表示第t帧目标限定框
Figure BDA00015604687700000716
的宽度，
Figure BDA00015604687700000717
表示第t帧目标限定框
Figure BDA00015604687700000718
的高度。
将第t帧目标限定框
Figure BDA00015604687700000719
中第1行第1列像素点作为第1个均匀跟踪点，第1个均匀跟踪点的横坐标为
Figure BDA00015604687700000720
第1个均匀跟踪点的纵坐标为
Figure BDA00015604687700000721
表示第t帧目标限定框
Figure BDA00015604687700000722
水平方向相邻均匀跟踪点之间间隔，
Figure BDA00015604687700000723
表示第t帧目标限定框
Figure BDA00015604687700000724
竖直方向相邻均匀跟踪点之间间隔；以第1个均匀跟踪点为起点、水平方向相邻均匀跟踪点之间间隔为
Figure BDA00015604687700000725
竖直方向的相邻均匀跟踪点之间间隔为
Figure BDA00015604687700000726
在第t帧目标限定框
Figure BDA00015604687700000727
中选取
Figure BDA00015604687700000728
个像素点，记为第t帧目标限定框
Figure BDA00015604687700000729
中使用均匀选取跟踪点的方式得到的
Figure BDA00015604687700000730
个均匀跟踪点；其中，第t帧目标限定框
Figure BDA00015604687700000731
水平方向相邻均匀跟踪点之间间隔
Figure BDA00015604687700000732
小于第t帧目标限定框
Figure BDA00015604687700000733
的宽度
Figure BDA00015604687700000734
第t帧目标限定框
Figure BDA00015604687700000735
竖直方向相邻均匀跟踪点之间间隔
Figure BDA00015604687700000736
小于第t帧目标限定框
Figure BDA00015604687700000737
的高度
Figure BDA00015604687700000738
和
Figure BDA00015604687700000739
分别为大于0的正整数。
2.1对第t帧目标限定框
Figure BDA00015604687700000740
中的
Figure BDA00015604687700000741
个均匀跟踪点使用光流法LK进行跟踪，在t+1帧灰度图像视频帧序列中得到
Figure BDA00015604687700000742
个预测跟踪点，其中第j个预测跟踪点为ut+1,j，
Figure BDA00015604687700000743
与
Figure BDA00015604687700000744
取值相等且一一对应；第t+1帧灰度图像视频帧序列中的第j个预测跟踪点ut+1,j的相应状态标签为lt+1,j，lt+1,j∈{0,1}，lt+1,j＝0表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j未被光流法LK成功跟踪，lt+1,j＝1表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j被光流法LK成功跟踪；再对第t+1帧灰度图像视频帧序列中的
Figure BDA00015604687700000745
个预测跟踪点使用光流法LK进行逆跟踪，在第t帧灰度图像视频帧序列中得到
Figure BDA0001560468770000081
个逆跟踪点，其中第j个逆跟踪点为ut',j,
Figure BDA0001560468770000082
与
Figure BDA0001560468770000083
取值相等且一一对应，
Figure BDA0001560468770000084
上标LK表示经过1次光流法LK跟踪，上标2LK表示经过2次光流法LK跟踪。
2.2第t帧目标限定框
Figure BDA0001560468770000085
中的
Figure BDA0001560468770000086
个均匀跟踪点经过光流法LK跟踪后得到
Figure BDA0001560468770000087
个预测跟踪点，使用前向后向误差法(Forward-Backward，FB)对第t+1帧灰度图像视频帧序列中状态标签为1的预测跟踪点进行验证，得到经过前向后向误差法验证后状态标签仍为1的
Figure BDA0001560468770000088
个预测跟踪点，
Figure BDA0001560468770000089
上标1表示经过前向后向误差法1次验证。
2.3使用归一化互相关预测法(Normalized Cross Correlation，NCC)对经过前向后向误差法验证后状态标签仍为1的
Figure BDA00015604687700000810
个预测跟踪点进行验证，得到经过归一化互相关预测法验证后状态标签仍为1的
Figure BDA00015604687700000811
个预测跟踪点，
Figure BDA00015604687700000812
上标2表示经过前向后向误差法和归一化互相关预测法2次验证。
2.4对经过归一化互相关预测法验证后状态标签仍为1的
Figure BDA00015604687700000813
个预测跟踪点使用目标跟踪算法TLD得到归一化互相关预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000814
归一化互相关预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000815
包含的图像块记为
Figure BDA00015604687700000816
上标N表示经过归一化互相关预测。
2.5使用马尔科夫预测法对经过归一化互相关预测法验证后状态标签仍为1的
Figure BDA00015604687700000817
个预测跟踪点进行验证，得到经过马尔科夫预测法验证后状态标签仍为1的
Figure BDA00015604687700000818
个预测跟踪点，
Figure BDA00015604687700000819
上标3表示经过前向后向误差法、归一化互相关预测法和马尔科夫预测法3次验证。
2.6对经过马尔科夫预测法验证后状态标签仍为1的
Figure BDA00015604687700000820
个预测跟踪点使用目标跟踪算法TLD得到马尔科夫预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000821
马尔科夫预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000822
包含的图像块记为
Figure BDA00015604687700000823
上标M表示经过马尔科夫预测。
2.7根据归一化互相关匹配算法分别得到归一化互相关预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000824
包含的图像块
Figure BDA00015604687700000825
与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度
Figure BDA00015604687700000826
以及马尔科夫预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000827
包含的图像块
Figure BDA00015604687700000828
与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度
Figure BDA0001560468770000091
上标T表示跟踪阶段。
2.8若相关相似度满足
Figure BDA0001560468770000092
则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA0001560468770000093
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA0001560468770000094
并认为第t+1帧灰度图像视频帧序列跟踪阶段跟踪失败。
其中，
Figure BDA0001560468770000095
表示第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签，
Figure BDA0001560468770000096
表示第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签，
Figure BDA0001560468770000097
表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测成功，
Figure BDA0001560468770000098
表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测成功。
若相关相似度
Figure BDA0001560468770000099
令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA00015604687700000910
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA00015604687700000911
将归一化互相关预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000912
作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出；其中，
Figure BDA00015604687700000913
表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测失败，
Figure BDA00015604687700000914
表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测失败。
若相关相似度不满足
Figure BDA00015604687700000915
和
Figure BDA00015604687700000916
中任一条件，则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA00015604687700000917
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA00015604687700000918
将马尔科夫预测后第t+1帧跟踪阶段限定框
Figure BDA00015604687700000919
作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出。
其中，θR表示相关相似度阈值，根据经验值取θR＝0.7，上标R表示相关相似度，max表示取最大值。
综合上述在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，令第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure BDA00015604687700000920
若在第t+1帧灰度图像视频帧序列跟踪阶段中没有得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，令第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure BDA0001560468770000101
Figure BDA0001560468770000102
表示第t+1帧灰度图像视频帧序列跟踪阶段的跟踪成功与否。
步骤3，进入检测阶段；对第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA0001560468770000103
和第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA0001560468770000104
采用不同的搜索范围，具体分为以下三种情况：
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA0001560468770000105
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA0001560468770000106
则对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列全局，将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签
Figure BDA0001560468770000107
表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的全局扫描，上标R表示尺度等级无序。
所述尺度等级无序的扫描是指第t+1帧灰度图像视频帧序列中的滑动窗口
Figure BDA0001560468770000108
不再按照尺度等级st+1从小到大的顺序进行扫描，而是先用尺度等级st+1＝0、st+1＝-1和st+1＝1对应的滑动窗口对第t+1帧灰度图像视频帧序列扫描区域At+1进行扫描，然后根据st+1＝0、st+1＝-1和st+1＝1三种不同尺度等级滑动窗口的扫描结果决定下次扫描尺度等级的扫描策略。
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA0001560468770000109
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA00015604687700001010
对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列局部，第t+1帧灰度图像视频帧序列局部具体是以第t帧目标限定框bt O的中心为中心、高度为
Figure BDA00015604687700001011
宽度为
Figure BDA00015604687700001012
的扫描区域，根据经验值取n1＝2；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为
Figure BDA00015604687700001013
表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描。
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA00015604687700001014
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA0001560468770000111
对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列设定区域，第t+1帧灰度图像视频帧序列设定区域是根据马尔科夫预测法预测的第t+1帧灰度图像视频帧序列中跟踪目标水平和竖直方向运动状态，将第t帧目标限定框
Figure BDA0001560468770000112
的宽度
Figure BDA0001560468770000113
和高度
Figure BDA0001560468770000114
分别按照预测的水平和竖直方向运动状态延长n2倍后所包含的区域，即是将第t帧目标限定框
Figure BDA0001560468770000115
的宽度
Figure BDA0001560468770000116
和高度
Figure BDA0001560468770000117
分别延长n2倍后所包含的区域，根据经验值取n2＝1.75；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为
Figure BDA0001560468770000118
表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描。
对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的扫描，第t+1帧灰度图像视频帧序列的初始滑动窗口swt+1,0的大小设置为第t帧目标限定框
Figure BDA0001560468770000119
同等大小，即第t+1帧灰度图像视频帧序列的初始滑动窗口swt+1,0的高
Figure BDA00015604687700001110
第t+1帧灰度图像视频帧序列的初始滑动窗口swt+1,0的宽
Figure BDA00015604687700001111
若第t帧灰度图像视频帧序列没有得到目标限定框，即第t帧目标限定框
Figure BDA00015604687700001112
的大小
Figure BDA00015604687700001113
根据经验值重新设定
Figure BDA00015604687700001114
此时第t+1帧灰度图像视频帧序列的初始滑动窗口大小swt+1,0为
Figure BDA00015604687700001115
设定第t+1帧灰度图像视频帧序列尺度等级无序的扫描采用
Figure BDA00015604687700001116
个尺度等级，
Figure BDA00015604687700001117
为正奇数且
Figure BDA00015604687700001118
个尺度等级依次为
Figure BDA00015604687700001119
即第t+1帧灰度图像视频帧序列的尺度等级
Figure BDA00015604687700001120
若第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签
Figure BDA00015604687700001121
根据经验值取
Figure BDA00015604687700001122
21个尺度等级依次为-10,-9,…,0,…,9,10，即
st+1∈{-10,-9,…,-1,0,1,…,9,10}；若第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签
Figure BDA00015604687700001123
根据经验值取
Figure BDA00015604687700001124
7个尺度等级依次为-3,-2,-1,0,1,2,3，即st+1∈{-3,-2,-1,0,1,2,3}；将相应尺度等级st+1下对应的缩放倍数记为
Figure BDA0001560468770000121
第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口高度
Figure BDA0001560468770000122
第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口宽度
Figure BDA0001560468770000123
其中
Figure BDA0001560468770000124
Figure BDA0001560468770000125
将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口水平方向上步长记为
Figure BDA0001560468770000126
将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口竖直方向上步长记为
Figure BDA0001560468770000127
第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口水平方向上步长
Figure BDA0001560468770000128
和第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口竖直方向上步长
Figure BDA0001560468770000129
分别为第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001210
高度
Figure BDA00015604687700001211
和第t帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001212
宽度
Figure BDA00015604687700001213
的10％，即
Figure BDA00015604687700001214
表示向上取整。
对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为st+1的滑动窗口
Figure BDA00015604687700001215
进行扫描和分类的具体子步骤为：
3.1若第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001216
高度
Figure BDA00015604687700001217
或第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001218
宽度
Figure BDA00015604687700001219
即第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001220
大小超出了第t+1帧灰度图像视频帧序列扫描区域At+1，那么对应尺度等级为st+1的情况下检测阶段检测失败，令相关相似度
Figure BDA00015604687700001221
表示第t+1帧灰度图像视频帧序列尺度等级st+1对应的检测阶段限定框
Figure BDA00015604687700001222
包含的图像块
Figure BDA00015604687700001223
和第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，
Figure BDA00015604687700001224
表示第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001225
经过扫描和分类后得到的检测阶段限定框；若第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001226
大小没有超出第t+1帧灰度图像视频帧序列扫描区域At+1，即
Figure BDA00015604687700001227
则使用大小为
Figure BDA00015604687700001228
滑动窗口
Figure BDA00015604687700001229
对第t+1帧灰度图像视频帧序列扫描区域At+1按照先水平后竖直的顺序进行扫描，第t+1帧灰度图像视频帧序列水平方向上步长为
Figure BDA0001560468770000131
第t+1帧灰度图像视频帧序列竖直方向上步长为
Figure BDA0001560468770000132
总计得到
Figure BDA0001560468770000133
个扫描窗口，每个扫描窗口包含一个图像块，进而得到
Figure BDA0001560468770000134
个图像块；其中
Figure BDA0001560468770000135
为大于0的正整数，
Figure BDA0001560468770000136
个图像块中第
Figure BDA0001560468770000137
个图像块为
Figure BDA0001560468770000138
Figure BDA0001560468770000139
根据经验值取n＝1.75。
3.2对
Figure BDA00015604687700001310
个图像块使用方差分类算法进行方差分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过方差分类的
Figure BDA00015604687700001311
个图像块；其中，
Figure BDA00015604687700001312
上标1表示经过方差分类，
Figure BDA00015604687700001313
个图像块中第
Figure BDA00015604687700001314
个图像块为
Figure BDA00015604687700001315
3.3对经过方差分类的
Figure BDA00015604687700001316
个图像块使用随机森林分类算法进行随机森林分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过随机森林分类的
Figure BDA00015604687700001317
个图像块；其中，
Figure BDA00015604687700001318
上标2表示经过随机森林分类，
Figure BDA00015604687700001319
个图像块中第
Figure BDA00015604687700001320
个图像块为
Figure BDA00015604687700001321
3.4对经过随机森林分类的
Figure BDA00015604687700001322
个图像块使用最近邻分类算法使用进行最近邻分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过最近邻分类的
Figure BDA00015604687700001323
个图像块；其中，
Figure BDA00015604687700001324
上标3表示经过最近邻分类，
Figure BDA00015604687700001325
个图像块中第
Figure BDA00015604687700001326
个图像块为
Figure BDA00015604687700001327
3.5若经过最近邻分类的图像块个数
Figure BDA00015604687700001328
则在第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001329
的检测阶段检测失败；经过最近邻分类的图像块个数
Figure BDA00015604687700001330
对包含
Figure BDA00015604687700001331
个图像块的扫描区域使用TLD目标跟踪算法得到第t+1帧灰度图像视频帧序列尺度等级为st+1时对应的
Figure BDA00015604687700001332
个检测阶段限定框；
Figure BDA00015604687700001333
个检测阶段限定框中第i个检测阶段限定框为
Figure BDA00015604687700001334
第i个检测阶段限定框
Figure BDA00015604687700001335
包含的图像块记为
Figure BDA00015604687700001336
3.6根据归一化互相关匹配算法计算
Figure BDA00015604687700001337
个图像块分别与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，进而得到
Figure BDA0001560468770000141
个相关相似度；设定
Figure BDA0001560468770000142
个相关相似度中第i个相关相似度为
Figure BDA0001560468770000143
将
Figure BDA0001560468770000144
个相关相似度中的最大值标记为尺度等级为st+1时的最大相关相似度
Figure BDA0001560468770000145
若尺度等级为st+1时的最大相关相似度
Figure BDA0001560468770000146
对应的检测阶段限定框不唯一，则将
Figure BDA0001560468770000147
个相关相似度中第1个相关相似度重新标记为尺度等级为st+1时的最大相关相似度
Figure BDA0001560468770000148
3.7令st+1的值分别取0、-1和1，重复执行子步骤3.1至3.6，分别得到尺度等级为0时的最大相关相似度
Figure BDA0001560468770000149
尺度等级为-1时的最大相关相似度
Figure BDA00015604687700001410
和尺度等级为1时的最大相关相似度
Figure BDA00015604687700001411
然后根据尺度等级为0时的最大相关相似度
Figure BDA00015604687700001412
尺度等级为-1时的最大相关相似度
Figure BDA00015604687700001413
和尺度等级为1时的最大相关相似度
Figure BDA00015604687700001414
之间的大小关系，决定下一个第t+1帧灰度图像视频帧序列滑动窗口扫描所用的尺度等级，具体过程为：
(1)若相关相似度
Figure BDA00015604687700001415
max表示取最大值，执行以下子步骤：
3.7.1设置第一尺度等级临时变量为s'，令第一尺度等级临时变量s'的初始值为2，执行步骤3.7.2。
3.7.2根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为s'的滑动窗口swt+1，s′进行扫描和分类，得到尺度等级为s'时的最大相关相似度
Figure BDA00015604687700001416
执行步骤3.7.3。
3.7.3若相关相似度
Figure BDA00015604687700001417
令第一尺度等级临时变量s'的值减1，执行步骤3.7.4；若相关相似度
Figure BDA00015604687700001418
令第一尺度等级临时变量s'的值加1，执行步骤3.7.2；直到满足条件
Figure BDA00015604687700001419
执行步骤3.7.4。
3.7.4令第t+1帧灰度图像视频帧序列的尺度等级st+1的值等于第一尺度等级临时变量s'的值，将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure BDA00015604687700001420
经过扫描和分类后得到的检测阶段限定框
Figure BDA00015604687700001421
作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，并将第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1作为第t+1帧灰度图像视频帧序列检测阶段的最终输出。
(2)若相关相似度
Figure BDA0001560468770000151
max表示取最大值，执行以下子步骤：
3.7.5设置第二尺度等级临时变量
Figure BDA0001560468770000152
令第二尺度等级临时变量
Figure BDA0001560468770000153
的初始值为-2，执行步骤3.7.6。
3.7.6根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为
Figure BDA0001560468770000154
的滑动窗口
Figure BDA0001560468770000155
进行扫描和分类，得到尺度等级为
Figure BDA0001560468770000156
时的最大相关相似度
Figure BDA0001560468770000157
执行步骤3.7.7。
3.7.7若相关相似度
Figure BDA0001560468770000158
令第二尺度等级临时变量
Figure BDA0001560468770000159
的值加1，执行步骤3.7.8；若相关相似度
Figure BDA00015604687700001510
令第二尺度等级临时变量
Figure BDA00015604687700001511
的值减1，执行步骤3.7.6；直到满足条件
Figure BDA00015604687700001512
执行步骤3.7.8。
3.7.8令第t+1帧灰度图像视频帧序列的尺度等级st+1的值与第二尺度等级临时变量
Figure BDA00015604687700001513
的值取值相等，将第t+1帧灰度图像视频帧序列尺度等级st+1对应的扫描窗口
Figure BDA00015604687700001514
扫描和分类后得到的检测阶段限定框
Figure BDA00015604687700001515
作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，并将第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1作为第t+1帧灰度图像视频帧序列检测阶段的最终输出。
(3)若相关相似度不满足
Figure BDA00015604687700001516
和
Figure BDA00015604687700001517
中的任一条件，则将第t+1帧灰度图像视频帧序列的尺度等级st+1取值为0时对应的扫描窗口swt+1,0扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，并将第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1作为第t+1帧灰度图像视频帧序列检测阶段的最终输出。
综合上述步骤在第t+1帧灰度图像视频帧序列中得到检测阶段对应的检测阶段限定框，令第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure BDA00015604687700001518
若在第t+1帧灰度图像视频帧序列检测阶段中没有得到检测阶段对应的检测阶段限定框，令第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure BDA00015604687700001519
表示第t+1帧灰度图像视频帧序列检测阶段的检测成功与否。
步骤4，若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure BDA0001560468770000161
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure BDA0001560468770000162
对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用P-N学习机制提高随机森林分类和最近邻分类算法的分类能力；对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法TLD得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5。
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure BDA0001560468770000163
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure BDA0001560468770000164
对第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用P-N学习机制提高随机森林分类和最近邻分类算法的分类能力；对第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法TLD得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5。
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure BDA0001560468770000165
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure BDA0001560468770000166
对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1使用P-N学习机制提高随机森林分类和最近邻分类算法的分类能力；对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1使用目标跟踪算法TLD得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5。
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure BDA0001560468770000167
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure BDA0001560468770000168
判定在第t+1帧灰度图像视频帧序列中使用改进的目标跟踪算法TLD跟踪失败，则将第t+1帧目标限定框
Figure BDA0001560468770000169
大小设定为
Figure BDA00015604687700001610
令t的值加1，令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure BDA00015604687700001611
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure BDA00015604687700001612
返回步骤3。
步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果，此时整个改进的目标跟踪算法TLD终止。
参照图2，为目标跟踪算法TLD的框架图；由图2看出目标跟踪算法TLD包含的三个阶段和相互协作关系，其中三个阶段为：检测阶段、跟踪阶段和学习阶段。

Claims (4)

1.一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，包括以下步骤：
步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数；
初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1；确定第1帧目标限定框
Figure FDA0003497894610000011
和第1帧灰度图像视频帧序列的正负样本库L1；
步骤2，在第t帧目标限定框
Figure FDA0003497894610000012
中选取
Figure FDA0003497894610000013
个均匀跟踪点，并根据第t帧灰度图像视频帧序列的正负样本库Lt，在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；
所述在第t帧目标限定框
Figure FDA0003497894610000014
中选取
Figure FDA0003497894610000015
个均匀跟踪点，具体是指使用大小为K×K的均匀网格在第t帧目标限定框
Figure FDA0003497894610000016
中选取
Figure FDA0003497894610000017
个均匀跟踪点，
Figure FDA0003497894610000018
其过程为：
将第t帧目标限定框
Figure FDA0003497894610000019
中第1行第1列像素点作为第1个均匀跟踪点，并以第1个均匀跟踪点为起点、水平方向相邻均匀跟踪点之间间隔为
Figure FDA00034978946100000110
竖直方向的相邻均匀跟踪点之间间隔为
Figure FDA00034978946100000111
在第t帧目标限定框
Figure FDA00034978946100000112
中选取
Figure FDA00034978946100000113
个像素点，记为第t帧目标限定框
Figure FDA00034978946100000114
中使用均匀选取跟踪点的方式得到的
Figure FDA00034978946100000115
个均匀跟踪点；其中，
Figure FDA00034978946100000116
Figure FDA00034978946100000117
表示向下取整,
Figure FDA00034978946100000118
表示第t帧目标限定框
Figure FDA00034978946100000119
的宽度，
Figure FDA00034978946100000120
和
Figure FDA00034978946100000121
分别为大于0的正整数，
Figure FDA00034978946100000122
表示第t帧目标限定框
Figure FDA00034978946100000123
的高度；
所述在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，其过程为：
2.1对第t帧目标限定框
Figure FDA00034978946100000124
中的
Figure FDA00034978946100000125
个均匀跟踪点使用光流法进行跟踪，在t+1帧灰度图像视频帧序列中得到
Figure FDA00034978946100000126
个预测跟踪点，其中第j个预测跟踪点为ut+1,j，
Figure FDA00034978946100000127
与
Figure FDA00034978946100000128
取值相等且一一对应；第t+1帧灰度图像视频帧序列中的第j个预测跟踪点ut+1,j的相应状态标签为lt+1,j，lt+1,j∈{0,1}，lt+1,j＝0表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j未被光流法成功跟踪，lt+1,j＝1表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j被光流法成功跟踪；再对第t+1帧灰度图像视频帧序列中的
Figure FDA0003497894610000021
个预测跟踪点使用光流法进行逆跟踪，在第t帧灰度图像视频帧序列中得到
Figure FDA0003497894610000022
个逆跟踪点，其中第j个逆跟踪点为u′t,j,
Figure FDA0003497894610000023
与
Figure FDA0003497894610000024
取值相等且一一对应，
Figure FDA0003497894610000025
上标LK表示经过1次光流法跟踪，上标2LK表示经过2次光流法跟踪；
2.2第t帧目标限定框
Figure FDA0003497894610000026
中的
Figure FDA0003497894610000027
个均匀跟踪点经过光流法跟踪后得到
Figure FDA0003497894610000028
个预测跟踪点，使用前向后向误差法对第t+1帧灰度图像视频帧序列中状态标签为1的预测跟踪点进行验证，得到经过前向后向误差法验证后状态标签仍为1的
Figure FDA0003497894610000029
个预测跟踪点，
Figure FDA00034978946100000210
上标1表示经过前向后向误差法1次验证；
2.3使用归一化互相关预测法对经过前向后向误差法验证后状态标签仍为1的
Figure FDA00034978946100000211
个预测跟踪点进行验证，得到经过归一化互相关预测法验证后状态标签仍为1的
Figure FDA00034978946100000212
个预测跟踪点，
Figure FDA00034978946100000213
上标2表示经过前向后向误差法和归一化互相关预测法2次验证；
2.4对经过归一化互相关预测法验证后状态标签仍为1的
Figure FDA00034978946100000214
个预测跟踪点使用目标跟踪算法得到归一化互相关预测后第t+1帧跟踪阶段限定框
Figure FDA00034978946100000215
归一化互相关预测后第t+1帧跟踪阶段限定框
Figure FDA00034978946100000216
包含的图像块记为
Figure FDA00034978946100000217
上标N表示经过归一化互相关预测；
2.5使用马尔科夫预测法对经过归一化互相关预测法验证后状态标签仍为1的
Figure FDA00034978946100000218
个预测跟踪点进行验证，得到经过马尔科夫预测法验证后状态标签仍为1的
Figure FDA00034978946100000219
个预测跟踪点，
Figure FDA00034978946100000220
上标3表示经过前向后向误差法、归一化互相关预测法和马尔科夫预测法3次验证；
2.6对经过马尔科夫预测法验证后状态标签仍为1的
Figure FDA00034978946100000221
个预测跟踪点使用目标跟踪算法得到马尔科夫预测后第t+1帧跟踪阶段限定框
Figure FDA00034978946100000222
马尔科夫预测后第t+1帧跟踪阶段限定框
Figure FDA00034978946100000223
包含的图像块记为
Figure FDA00034978946100000224
上标M表示经过马尔科夫预测；
2.7根据归一化互相关匹配算法分别得到归一化互相关预测后第t+1帧跟踪阶段限定框
Figure FDA0003497894610000031
包含的图像块
Figure FDA0003497894610000032
与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度
Figure FDA0003497894610000033
以及马尔科夫预测后第t+1帧跟踪阶段限定框
Figure FDA0003497894610000034
包含的图像块
Figure FDA0003497894610000035
与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度
Figure FDA0003497894610000036
上标T表示跟踪阶段；
2.8若相关相似度满足
Figure FDA0003497894610000037
则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA0003497894610000038
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA0003497894610000039
并认为第t+1帧灰度图像视频帧序列跟踪阶段跟踪失败；
其中，
Figure FDA00034978946100000310
表示第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签，
Figure FDA00034978946100000311
表示第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签，
Figure FDA00034978946100000312
表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测成功，
Figure FDA00034978946100000313
表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测成功；
若相关相似度
Figure FDA00034978946100000314
令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA00034978946100000315
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA00034978946100000316
将归一化互相关预测后第t+1帧跟踪阶段限定框
Figure FDA00034978946100000317
作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出；其中，
Figure FDA00034978946100000318
表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测失败，
Figure FDA00034978946100000319
表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测失败；
若相关相似度不满足
Figure FDA00034978946100000320
和
Figure FDA00034978946100000321
中任一条件，则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA00034978946100000322
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA00034978946100000323
将马尔科夫预测后第t+1帧跟踪阶段限定框
Figure FDA00034978946100000324
作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；
其中，θR表示相关相似度阈值，上标R表示相关相似度，max表示取最大值；
步骤3，从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
步骤3的子步骤为：
3.0确定第t+1帧灰度图像视频帧序列扫描区域为At+1，设定第t+1帧灰度图像视频帧序列尺度等级无序的扫描采用
Figure FDA0003497894610000041
个尺度等级，
Figure FDA0003497894610000042
为正奇数且
Figure FDA0003497894610000043
Figure FDA0003497894610000044
个尺度等级依次为
Figure FDA0003497894610000045
即第t+1帧灰度图像视频帧序列的尺度等级
Figure FDA0003497894610000046
第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA0003497894610000047
高度为
Figure FDA0003497894610000048
第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA0003497894610000049
宽度为
Figure FDA00034978946100000410
3.1若第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA00034978946100000411
高度
Figure FDA00034978946100000412
或第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA00034978946100000413
宽度
Figure FDA00034978946100000414
则对应尺度等级为st+1的情况下检测阶段检测失败，令相关相似度
Figure FDA00034978946100000415
Figure FDA00034978946100000416
表示第t+1帧灰度图像视频帧序列尺度等级st+1对应的检测阶段限定框
Figure FDA00034978946100000417
包含的图像块
Figure FDA00034978946100000418
和第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，
Figure FDA00034978946100000419
表示第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA00034978946100000420
经过扫描和分类后得到的检测阶段限定框；若
Figure FDA00034978946100000421
则使用大小为
Figure FDA00034978946100000422
滑动窗口
Figure FDA00034978946100000423
对第t+1帧灰度图像视频帧序列扫描区域At+1按照先水平后竖直的顺序进行扫描，第t+1帧灰度图像视频帧序列水平方向上步长为
Figure FDA00034978946100000424
第t+1帧灰度图像视频帧序列竖直方向上步长为
Figure FDA00034978946100000425
总计得到
Figure FDA00034978946100000426
个扫描窗口，每个扫描窗口包含一个图像块，进而得到
Figure FDA00034978946100000427
个图像块；其中
Figure FDA00034978946100000428
为大于0的正整数，n为设定常数；
3.2对
Figure FDA00034978946100000429
个图像块使用方差分类算法进行方差分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过方差分类的
Figure FDA00034978946100000430
个图像块；其中，
Figure FDA00034978946100000431
上标1表示经过方差分类；
3.3对经过方差分类的
Figure FDA0003497894610000051
个图像块使用随机森林分类算法进行随机森林分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过随机森林分类的
Figure FDA0003497894610000052
个图像块；其中，
Figure FDA0003497894610000053
上标2表示经过随机森林分类；
3.4对经过随机森林分类的
Figure FDA0003497894610000054
个图像块使用最近邻分类算法使用进行最近邻分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过最近邻分类的
Figure FDA0003497894610000055
个图像块；其中，
Figure FDA0003497894610000056
上标3表示经过最近邻分类；3.5若经过最近邻分类的图像块个数
Figure FDA0003497894610000057
则在第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA0003497894610000058
的检测阶段检测失败；经过最近邻分类的图像块个数
Figure FDA0003497894610000059
对包含
Figure FDA00034978946100000510
个图像块的扫描区域使用目标跟踪算法得到第t+1帧灰度图像视频帧序列尺度等级为st+1时对应的
Figure FDA00034978946100000511
个检测阶段限定框；
Figure FDA00034978946100000512
3.6根据归一化互相关匹配算法计算
Figure FDA00034978946100000513
个图像块分别与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，进而得到
Figure FDA00034978946100000514
个相关相似度；将
Figure FDA00034978946100000515
个相关相似度中的最大值标记为尺度等级为st+1时的最大相关相似度
Figure FDA00034978946100000516
若尺度等级为st+1时的最大相关相似度
Figure FDA00034978946100000517
对应的检测阶段限定框不唯一，则将
Figure FDA00034978946100000518
个相关相似度中第1个相关相似度重新标记为尺度等级为st+1时的最大相关相似度
Figure FDA00034978946100000519
3.7令st+1的值分别取0、-1和1，重复执行子步骤3.1至3.6，分别得到尺度等级为0时的最大相关相似度
Figure FDA00034978946100000520
尺度等级为-1时的最大相关相似度
Figure FDA00034978946100000521
和尺度等级为1时的最大相关相似度
Figure FDA00034978946100000522
然后根据尺度等级为0时的最大相关相似度
Figure FDA00034978946100000523
尺度等级为-1时的最大相关相似度
Figure FDA00034978946100000524
和尺度等级为1时的最大相关相似度
Figure FDA00034978946100000525
之间的大小关系，决定下一个第t+1帧灰度图像视频帧序列滑动窗口扫描所用的尺度等级，具体过程为：
(1)若相关相似度
Figure FDA00034978946100000526
max表示取最大值，执行以下子步骤：
3.7.1设置第一尺度等级临时变量为s′，令第一尺度等级临时变量s′的初始值为2，执行步骤3.7.2；
3.7.2根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为s′的滑动窗口
Figure FDA0003497894610000061
进行扫描和分类，得到尺度等级为s′时的最大相关相似度
Figure FDA0003497894610000062
执行步骤3.7.3；
3.7.3若相关相似度
Figure FDA0003497894610000063
令第一尺度等级临时变量s′的值减1，执行步骤3.7.4；若相关相似度
Figure FDA0003497894610000064
令第一尺度等级临时变量s′的值加1，执行步骤3.7.2；直到满足条件
Figure FDA0003497894610000065
执行步骤3.7.4；
3.7.4令第t+1帧灰度图像视频帧序列的尺度等级st+1的值等于第一尺度等级临时变量s′的值，将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口
Figure FDA0003497894610000066
经过扫描和分类后得到的检测阶段限定框
Figure FDA0003497894610000067
作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
(2)若相关相似度
Figure FDA0003497894610000068
max表示取最大值，执行以下子步骤：
3.7.5设置第二尺度等级临时变量
Figure FDA0003497894610000069
令第二尺度等级临时变量s的初始值为-2，执行步骤3.7.6；
3.7.6根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为
Figure FDA00034978946100000610
的滑动窗口
Figure FDA00034978946100000611
进行扫描和分类，得到尺度等级为
Figure FDA00034978946100000612
时的最大相关相似度
Figure FDA00034978946100000613
执行步骤3.7.7；
3.7.7若相关相似度
Figure FDA00034978946100000614
令第二尺度等级临时变量
Figure FDA00034978946100000615
的值加1，执行步骤3.7.8；若相关相似度
Figure FDA00034978946100000616
令第二尺度等级临时变量s的值减1，执行步骤3.7.6；直到满足条件
Figure FDA00034978946100000617
执行步骤3.7.8；
3.7.8令第t+1帧灰度图像视频帧序列的尺度等级st+1的值与第二尺度等级临时变量s的值取值相等，将第t+1帧灰度图像视频帧序列尺度等级st+1对应的扫描窗口
Figure FDA00034978946100000618
扫描和分类后得到的检测阶段限定框
Figure FDA00034978946100000619
作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
(3)若相关相似度不满足
Figure FDA0003497894610000071
和
Figure FDA0003497894610000072
中的任一条件，则将第t+1帧灰度图像视频帧序列的尺度等级st+1取值为0时对应的扫描窗口swt+1,0扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
步骤4，根据第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，得到第t+1帧目标限定框，进而确定第t+1帧跟踪目标的最终位置；
步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。
2.如权利要求1所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在步骤1中，所述第1帧目标限定框
Figure FDA0003497894610000073
和第1帧灰度图像视频帧序列的正负样本库L1，其确定过程分别为：
将以第1帧灰度图像视频帧序列中跟踪目标为中心、高度为h1、宽度为w1的矩形框，记为第1帧目标限定框
Figure FDA0003497894610000074
所述第1帧目标限定框
Figure FDA0003497894610000075
是包含第1帧灰度图像视频帧序列中跟踪目标的目标限定框，上标O表示目标限定框，0<h1≤N，0<w1≤M；
使用大小为
Figure FDA0003497894610000076
的滑动窗口
Figure FDA0003497894610000077
对第t帧灰度图像视频帧序列进行全局扫描，扫描区域为第t帧灰度图像视频帧序列全局，总计得到
Figure FDA0003497894610000078
个扫描窗口，每个扫描窗口包含一个图像块，进而得到
Figure FDA0003497894610000079
个图像块；
将第t帧目标限定框
Figure FDA00034978946100000710
包含的图像块记为Pt O，对第t帧灰度图像视频帧序列的
Figure FDA00034978946100000711
个图像块进行重叠度的比较，依次计算第t帧灰度图像视频帧序列的
Figure FDA00034978946100000712
个图像块分别与第t帧目标限定框
Figure FDA00034978946100000713
包含的图像块Pt O的重叠度，总计得到
Figure FDA00034978946100000714
个重叠度，
Figure FDA00034978946100000715
个重叠度中第k个重叠度为
Figure FDA00034978946100000716
其表达式为：
Figure FDA00034978946100000717
其中，
Figure FDA00034978946100000718
表示第t帧灰度图像视频帧序列的第k个图像块
Figure FDA00034978946100000719
和第t帧目标限定框
Figure FDA00034978946100000720
包含的图像块Pt O的重叠度，
Figure FDA0003497894610000081
根据经验值取omin＝0，omax＝1；
Figure FDA0003497894610000082
表示第t帧灰度图像视频帧序列的第k个图像块
Figure FDA0003497894610000083
的面积，
Figure FDA0003497894610000084
Figure FDA0003497894610000085
表示第t帧目标限定框
Figure FDA0003497894610000086
包含的图像块Pt O的面积，
Figure FDA0003497894610000087
Figure FDA0003497894610000088
表示第t帧灰度图像视频帧序列的第k个图像块
Figure FDA0003497894610000089
和第t帧目标限定框
Figure FDA00034978946100000810
包含的图像块Pt O重叠部分的面积，
Figure FDA00034978946100000811
min表示取最小值；
当t取值为1时，依次计算第1帧灰度图像视频帧序列的
Figure FDA00034978946100000812
个图像块分别与第1帧目标限定框
Figure FDA00034978946100000813
包含的图像块P1 O的重叠度，进而总计得到
Figure FDA00034978946100000814
个重叠度，
Figure FDA00034978946100000815
个重叠度中第k个重叠度为
Figure FDA00034978946100000816
若
Figure FDA00034978946100000817
则将
Figure FDA00034978946100000818
个重叠度中第k个重叠度
Figure FDA00034978946100000819
对应图像块记为第a个满足要求的图像块，a的初始值为1，令a的值加1；遍历
Figure FDA00034978946100000820
个重叠度，进而得到NN′1个满足要求的图像块；其中，a∈{1,2,…,NN′1}，根据经验值取θN＝0.2；
根据方差分类法对NN′1个满足要求的图像块进行方差分类，得到NN1个图像块，0≤NN1≤NN′1；最终对NN1个图像块使用双线性插值算法进行归一化处理，得到包含NN1个图像块的负样本库NL1，N表示负样本；
若
Figure FDA00034978946100000821
则将
Figure FDA00034978946100000822
个重叠度中第k个重叠度
Figure FDA00034978946100000823
对应图像块记为第a′个满足要求的图像块，a′的初始值为1，令a′的值加1；遍历
Figure FDA00034978946100000824
个重叠度，进而得到NP1′个满足要求的图像块；其中，a′∈{1,2,…,NP1′}，根据经验值取θP＝0.8，
Figure FDA00034978946100000825
根据方差分类法对NP1′个满足要求的图像块进行方差分类得到NP1个图像块，0≤NP1≤NP1′，最终对NP1个图像块使用双线性插值算法进行归一化处理得到包含NP1个图像块的正样本库PL1，P表示正样本；将包含NP1个图像块的正样本库PL1和包含NN1个图像块的负样本库NL1记为第1帧灰度图像视频帧序列的正负样本库L1。
3.如权利要求1所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在3.0中，所述第t+1帧灰度图像视频帧序列扫描区域为At+1，还包括：
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA00034978946100000826
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA0003497894610000091
则对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列全局，将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签
Figure FDA0003497894610000092
Figure FDA0003497894610000093
表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的全局扫描，上标R表示尺度等级无序；
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA0003497894610000094
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA0003497894610000095
对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列局部，第t+1帧灰度图像视频帧序列局部具体是以第t帧目标限定框
Figure FDA0003497894610000096
的中心为中心、高度为
Figure FDA0003497894610000097
宽度为
Figure FDA0003497894610000098
的扫描区域，根据经验值取n1＝2；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为
Figure FDA0003497894610000099
Figure FDA00034978946100000910
表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描；
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA00034978946100000911
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA00034978946100000912
对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列设定区域，所述设定区域是将第t帧目标限定框
Figure FDA00034978946100000913
的宽度
Figure FDA00034978946100000914
和高度
Figure FDA00034978946100000915
分别延长n2倍后所包含的区域，n2表示设定常数；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为
Figure FDA00034978946100000916
Figure FDA00034978946100000917
表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描。
4.如权利要求3所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在步骤4中，所述确定第t+1帧跟踪目标的最终位置，其过程为：
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure FDA00034978946100000918
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure FDA00034978946100000919
对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5；
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure FDA0003497894610000101
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure FDA0003497894610000102
对第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5；
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure FDA0003497894610000103
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure FDA0003497894610000104
对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1使用目标跟踪算法得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5；
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签
Figure FDA0003497894610000105
第t+1帧灰度图像视频帧序列的检测阶段状态标签
Figure FDA0003497894610000106
判定在第t+1帧灰度图像视频帧序列中使用改进的目标跟踪算法跟踪失败，则将第t+1帧目标限定框
Figure FDA0003497894610000107
大小设定为
Figure FDA0003497894610000108
令t的值加1，令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签
Figure FDA0003497894610000109
第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签
Figure FDA00034978946100001010
返回步骤3。
CN201810079102.5A 2018-01-26 2018-01-26 一种基于跟踪学习检测的目标跟踪优化方法 Active CN108320301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810079102.5A CN108320301B (zh) 2018-01-26 2018-01-26 一种基于跟踪学习检测的目标跟踪优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810079102.5A CN108320301B (zh) 2018-01-26 2018-01-26 一种基于跟踪学习检测的目标跟踪优化方法

Publications (2)

Publication Number Publication Date
CN108320301A CN108320301A (zh) 2018-07-24
CN108320301B true CN108320301B (zh) 2022-03-18

Family

ID=62887917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810079102.5A Active CN108320301B (zh) 2018-01-26 2018-01-26 一种基于跟踪学习检测的目标跟踪优化方法

Country Status (1)

Country Link
CN (1) CN108320301B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465859A (zh) * 2019-09-06 2021-03-09 顺丰科技有限公司 快速运动目标的检测方法、装置、设备和储存介质
CN111008305B (zh) 2019-11-29 2023-06-23 百度在线网络技术（北京）有限公司 一种视觉搜索方法、装置以及电子设备
CN113920155A (zh) * 2021-08-30 2022-01-11 北京自动化控制设备研究所 一种基于核相关滤波的动目标跟踪算法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别***及其方法
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
CN104463862A (zh) * 2014-11-28 2015-03-25 哈尔滨工业大学 肾脏ct序列图像快速分割方法
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106780552A (zh) * 2016-11-08 2017-05-31 西安电子科技大学 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法
WO2017168462A1 (en) * 2016-03-29 2017-10-05 Nec Corporation An image processing device, an image processing method, and computer-readable recording medium
CN107392210A (zh) * 2017-07-12 2017-11-24 中国科学院光电技术研究所 一种基于tld算法的目标检测跟踪方法
CN107423702A (zh) * 2017-07-20 2017-12-01 西安电子科技大学 基于tld跟踪***的视频目标跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN106303461A (zh) * 2016-09-08 2017-01-04 福建师范大学 基于视频分析的移动式智能安防装置
CN106373146B (zh) * 2016-10-27 2019-02-15 南京航空航天大学 一种基于模糊学习的目标跟踪方法
CN106886748B (zh) * 2016-12-28 2020-06-12 中国航天电子技术研究院 一种基于tld的适用于无人机的变尺度目标跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别***及其方法
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
CN104463862A (zh) * 2014-11-28 2015-03-25 哈尔滨工业大学 肾脏ct序列图像快速分割方法
WO2017168462A1 (en) * 2016-03-29 2017-10-05 Nec Corporation An image processing device, an image processing method, and computer-readable recording medium
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106780552A (zh) * 2016-11-08 2017-05-31 西安电子科技大学 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法
CN107392210A (zh) * 2017-07-12 2017-11-24 中国科学院光电技术研究所 一种基于tld算法的目标检测跟踪方法
CN107423702A (zh) * 2017-07-20 2017-12-01 西安电子科技大学 基于tld跟踪***的视频目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《A system for real-time detection and tracking of vehicles from a single car-mounted camera》;Claudio Caraffi等;《2012 15th International IEEE Conference on Intelligent Transportation Systems》;20121025;第975-982页 *
《一种新的红外成像末制导目标跟踪方法》;陈冰 等;《光子学报》;20091115;第38卷(第11期);第3034-3039页 *
《基于TLD多目标跟踪算法研究》;姚沛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415(第04期);第I138-1024页 *
《基于多新息Kalman滤波的TLD改进算法》;焦蓬斐 等;《数据采集与处理》;20160515;第31卷(第03期);第592-598页 *

Also Published As

Publication number Publication date
CN108320301A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
Wang et al. Inverse sparse tracker with a locally weighted distance metric
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
US8989442B2 (en) Robust feature fusion for multi-view object tracking
Ullah et al. A hierarchical feature model for multi-target tracking
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN110046659B (zh) 一种基于tld的长时间单目标跟踪方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN108427960B (zh) 基于改进Online Boosting和卡尔曼滤波器改进的TLD跟踪方法
CN108320301B (zh) 一种基于跟踪学习检测的目标跟踪优化方法
Chen et al. Using FTOC to track shuttlecock for the badminton robot
CN107967692A (zh) 一种基于跟踪学习检测的目标跟踪优化方法
Zhang et al. SIFT flow for abrupt motion tracking via adaptive samples selection with sparse representation
Gao et al. Robust visual tracking using exemplar-based detectors
Li et al. Robust object tracking via multi-feature adaptive fusion based on stability: contrast analysis
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
Zhou et al. Locality-constrained collaborative model for robust visual tracking
Li et al. License plate detection using convolutional neural network
CN115984223A (zh) 基于PCANet及多分类器融合的图像溢油检测方法
Wang et al. Multiple pedestrian tracking with graph attention map on urban road scene
Gad et al. Real-time lane instance segmentation using SegNet and image processing
Yin Object Detection Based on Deep Learning: A Brief Review
CN113129336A (zh) 一种端到端多车辆跟踪方法、***及计算机可读介质
Cheng et al. MF-MOS: A motion-focused model for moving object segmentation
CN108665479A (zh) 基于压缩域多尺度特征tld的红外目标跟踪方法
Butler et al. In defense of Kalman filtering for polyp tracking from colonoscopy videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant