CN112907630A - 基于均值漂移预测和时空上下文信息的实时跟踪方法 - Google Patents

基于均值漂移预测和时空上下文信息的实时跟踪方法 Download PDF

Info

Publication number
CN112907630A
CN112907630A CN202110186933.4A CN202110186933A CN112907630A CN 112907630 A CN112907630 A CN 112907630A CN 202110186933 A CN202110186933 A CN 202110186933A CN 112907630 A CN112907630 A CN 112907630A
Authority
CN
China
Prior art keywords
target
time
context
tracking
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110186933.4A
Other languages
English (en)
Inventor
锁言鹏
冯涛
贺洞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Heat Sense Technology Co ltd
Original Assignee
Luoyang Heat Sense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Heat Sense Technology Co ltd filed Critical Luoyang Heat Sense Technology Co ltd
Priority to CN202110186933.4A priority Critical patent/CN112907630A/zh
Publication of CN112907630A publication Critical patent/CN112907630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于均值漂移预测和时空上下文的实时跟踪方法及***,根据目标位置,利用背景加权均值漂移算法得到目标的可能位置;确定可能位置为中心的上下文计算区域;计算上下文先验模型和置信图来对时空模型进行快速学***台的实时性要求,是一种较为实用的实时视频图像目标跟踪方法。

Description

基于均值漂移预测和时空上下文信息的实时跟踪方法
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于均值漂移预测和时空上下文的实时跟踪方法及***。
背景技术
目标跟踪一直是计算机视觉领域的热点研究问题,其在军事、安防、交通等领域具有重要的价值。在实际环境中,运动目标的姿态通常是变化的,另外目标周围环境通常是复杂的,这些都会对跟踪结果产生较大的干扰。
发明内容
针对跟踪过程中因目标快速移动或受到严重遮挡时容易丢失目标的问题,本发明提供一种基于均值漂移预测和时空上下文的实时跟踪方法及***,利用均值漂移算法对目标位置进行预测,并以预测位置为目标中心使用时空上下文跟踪算法对预测结果进行校正,提高了时空上下文跟踪方法的稳定性,从而提高了目标跟踪能力。
为达到上述目的,本发明提供了一种基于均值漂移预测和时空上下文信息的实时跟踪方法,包括:
根据第t-1帧跟踪得到的目标位置x(t-1)或初始选定的目标位置x(0),利用背景加权均值漂移算法得到目标的可能位置x*
确定x*为中心的上下文计算区域Ωc(x*);
计算上下文先验模型P(c(z)|o)和置信图m(x)来对时空模型进行快速学习,获取置信图mt+1(x)的最大置信度;
计算置信图mt+1(x)的峰值旁瓣比,如果该峰值旁瓣比大于阈值,则将最大置信度所在位置作为第t帧图像的跟踪位置;否则,以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置,并均值漂移算法预测的目标位置更新时空模型。
进一步地,利用背景加权均值漂移算法得到目标的可能位置x*包括:
计算当前窗口内各像素点的权重:
Figure BDA0002939807020000021
计算候选目标的下一个新位置:
Figure BDA0002939807020000022
式中:yi表示像素点位置,n为当前窗口内像素点总数,b(yi)表示将像素点位置yi的像素映射到特征空间,qu为目标特征,u为1,2…m,m是特征空间的元素个数,δ(x)为1维Kronecker delta函数,pu(y0)为中心坐标为y0的目标候选区域的各特征分布密度,y0的位置取x(t-1),h为核函数k(x) 的带宽;g(x)=-k′(x),k′(x)表示即对k(x)求导;
Figure BDA0002939807020000023
判断是否小于||y1-y0||阈值,如果小于,则将得到的候选目标的下一个新位置y1,作为可能位置x*,否则采用y1替待y0,返回计算当前窗口内各像素点的权重的步骤。
进一步地,返回计算当前窗口内各像素点的权重的步骤的次数不超过15 次。
进一步地,计算区域Ωc(x*)以x*为中心,大小为2M_Col×2M_Row。进一步地,如果为初始帧,则人工手动选择的方式得到目标在图像中的初始位置 x(0),初始化上下文先验模型P(c(z)|o)和置信图m(x)。
进一步地,计算上下文先验模型P(c(z)|o)和置信图m(x)来对时空模型
Figure BDA0002939807020000031
进行快速学习包括:
计算上下文先验模型P(c(z)|o)包括:
P(c(z)|o)=I(z)ωσ(z-x*)
Figure BDA0002939807020000032
计算置信图m(x)包括:
Figure BDA0002939807020000033
计算傅里叶算子:
Figure BDA0002939807020000034
更新时空上下文模型:
Figure BDA0002939807020000035
计算置信图:
Figure BDA0002939807020000036
其中I(z)表示z坐标像素的灰度值,ωσ(z-x*)为加权高斯函数,
Figure BDA0002939807020000037
表示x的傅里叶变换,
Figure BDA0002939807020000038
表示x的傅里叶逆变换,ρ表示学习速度,a表示归一化常数,σ表示尺度参数,b表示归一化常数,α表示尺度参数,β表示形状参数,
Figure BDA0002939807020000039
表示更新前的时空上下文模型。
进一步地,计算置信图mt+1(x)的峰值旁瓣比包括:
Figure BDA00029398070200000310
其中,gmax为时空上下文跟踪算法的频域输出结果的峰值,μs与δs分别为旁瓣的均值与标准差。
另一方面提供一种基于均值漂移预测和时空上下文信息的实时跟踪***,包括:
均值漂移预测模块,根据第t-1帧跟踪得到的目标位置x(t-1)或初始选定的目标位置x(0),利用背景加权均值漂移算法得到目标的可能位置x*
计算区域确定模块,确定x*为中心的上下文计算区域Ωc(x*);
时空上下文信息计算模块,计算上下文先验模型P(c(z)|o)和置信图m(x) 来对时空模型进行快速学习,获取置信图mt+1(x)的最大置信度;
输出模块,计算置信图mt+1(x)的峰值旁瓣比,如果该峰值旁瓣比大于阈值,则将最大置信度所在位置作为第t帧图像的跟踪位置输出,否则,以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置输出;
更新模块,当以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置输出时,以均值漂移算法预测的目标位置更新时空模型。
进一步地,均值漂移预测模块包括权重计算单元、更新位置计算单元以及位置输出单元;
权重计算单元计算当前窗口内各像素点的权重:
Figure BDA0002939807020000041
更新位置计算单元计算候选目标的下一个新位置:
Figure BDA0002939807020000042
式中:yi表示像素点位置,n为当前窗口内像素点总数,b(yi)表示将像素点位置yi的像素映射到特征空间,qu为目标特征,u为1,2…m,m是特征空间的元素个数,δ(x)为1维Kronecker delta函数,pu(y0)为中心坐标为y0的目标候选区域的各特征分布密度,y0的位置取x(t-1),h为核函数k(x) 的带宽,g(x)=-k′(x),k′(x)表示对k(x)求导;
Figure BDA0002939807020000051
位置输出单元判断||y1-y0||是否小于阈值,如果小于,则将得到的候选目标的下一个新位置y1,作为可能位置x*,将y1,发送权重计算单元替待y0
进一步地,计算区域Ωc(x*)以x*为中心,大小为2M_Col×2M_Row。进一步地,如果为初始帧,则人工手动选择的方式得到目标在图像中的初始位置 x(0),初始化上下文先验模型P(c(z)|o)和置信图m(x)。
进一步地,时空上下文信息计算模块包括模型计算单元、置信图计算单元、傅里叶算子计算单元、模型更新单元以及置信图更新输出单元;
模型计算单元,计算上下文先验模型P(c(z)|o):
P(c(z)|o)=I(z)ωσ(z-x*)
Figure BDA0002939807020000052
置信图计算单元,计算置信图m(x):
Figure BDA0002939807020000053
傅里叶算子计算单元,计算傅里叶算子:
Figure BDA0002939807020000054
模型更新单元,更新时空上下文模型:
Figure BDA0002939807020000055
置信图更新输出单元,计算更新后的置信图:
Figure BDA0002939807020000056
其中I(z)表示z坐标像素的灰度值,ωσ(z-x*)为加权高斯函数,
Figure BDA0002939807020000057
表示x的傅里叶变换,
Figure BDA0002939807020000061
良示x的傅里叶逆变换,ρ表示学习速度,a表示归一化常数,σ表示尺度参数,b表示归一化常量,α表示尺度参数,β表示形状参数,
Figure BDA0002939807020000062
表示更新前的时空上下文模型。
进一步地,输出模块,计算置信图的峰值旁瓣比包括:
Figure BDA0002939807020000063
其中,gmax为时空上下文跟踪算法的频域输出结果的峰值,μs与δs分别为旁瓣的均值与标准差。
本发明的上述技术方案具有如下有益的技术效果:
(1)本发明为针对固定背景下的基于均值漂移预测的时空上下文跟踪方法,提高了时空上下文跟踪方法的稳定性,从而提高了目标跟踪能力。
(2)本发明将均值漂移算法与时空上下文跟踪方法结合后能够稳定地适应目标快速运动和严重遮挡情况,满足硬件平台的实时性要求,是一种较为实用的实时视频图像目标跟踪方法。
(3)本发明通过峰值旁瓣比选择输出均值漂移算法与时空上下文跟踪方法的阈值,充分利用二者的优势,保证了最优结果的输出。
(4)本发明通过调用均值漂移算法作为预测位置,避免了遮挡结束后时空上下文算法会跟踪漂移到遮挡物上的缺点,有效解决了跟踪过程中发生的严重遮挡问题;同时,本发明调用的均值漂移算法是基于背景加权的,如果某特征值在背景模型直方图中所占权值较大,在建立目标模型时对此特征值赋予较小权重,反之,对背景模型直方图中权值较小的特征值赋予较大权重,该方法有效抑制了背景像素对目标跟踪产生的影响,有效改进了均值漂移算法的准确性。
(5)本发明提出的判遮挡策略峰值旁瓣比是一种更为客观的目标准确度判据,有效降低了模型漂移率,提高了算法整体跟踪的稳定性。
附图说明
图1是实时跟踪方法流程图;
图2(a)为利用本发明的跟踪算法car1图像序列跟踪结果截图,图2 (b)为利用时空上下文跟踪算法对car1图像序列的跟踪结果截图;
图3(a)为利用本发明的跟踪算法car2图像序列跟踪结果截图,图2 (b)为利用时空上下文跟踪算法对car2图像序列的跟踪结果截图;
图4(a)为car1图片序列在第一方向的跟踪位置对比示意图;图4(b) 为car1图片序列在第二方向的跟踪位置对比示意图;
图5(a)为car2图片序列在第一方向的跟踪位置对比示意图;图5(b) 为car2图片序列在第二方向的跟踪位置对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
假设第t帧跟踪得到的目标位置为x(t),且经过更新后的时空上下文模型为
Figure BDA0002939807020000071
那么在第t+1帧图像到来后,需要在该帧中对目标进行跟踪。基于均值漂移预测和时空上下文信息的实时跟踪方法,具体如下:
步骤1,根据第t-1帧跟踪得到的目标位置x(t-1),利用背景加权均值漂移算法得到目标的可能位置x*
在初始帧中,通过人工手动选择的方式得到目标在图像中的初始位置x(0),然后计算目标的时空上下文区域置信图m(x)和先验概率模型P(c(z)|o)。初始化目标模型。
如果某特征值在背景模型直方图中所占权值较大,在建立目标模型时对此特征值赋予较小权重,反之,对背景模型直方图中权值较小的特征值赋予较大权重。利用此方法可以有效抑制背景像素对目标跟踪产生的影响,有效改进均值漂移预测算法的准确性。
利用背景加权均值漂移算法进行目标预测的过程是利用计算得到的均值向量反复迭代,更新核函数窗口的中心位置,直到满足判断条件,算法主要分为以下几个步骤:
(1)以上帧目标位置y0为中心,以128*128为大小定义当前窗口,计算该窗口内各像素点的权重:
Figure BDA0002939807020000081
(2)计算候选目标的下一个新位置:
Figure BDA0002939807020000082
式中:g(x)=-k′(x).k′(x)表示对k(x)求导。
Figure BDA0002939807020000083
(3)判断是否需要继续计算
首先判断是否||y1-y0||<ε,如成立则停止计算,得到被预测目标的位置信息,否则将y1替y0返回到目标预测定位过程的第一步,继续寻找满足判断条件的候选目标位置。由于光电跟踪***对实时性具有较高的要求,所以实际应用中设定迭代次数最多是15次。
步骤2,以x*为中心、以2M_Col×2M_Row为大小定义上下文区域Ωc(x*);
上下文区域Ωc(x*)表示以x*点为中心、以2MCol×2MRow为大小的矩形图像区域,由于步骤1利用了背景加权均值漂移方法来预测目标,当因空中数据传输链路延迟导致人工所选运动目标与真实目标位置有偏差时,该步骤可有效避免捕获位置不准确的问题,增强后续的目标跟踪能力。
步骤3,通过上下文先验模型P(c(z)|o)和置信图m(x)来对时空模型
Figure BDA0002939807020000084
进行快速学习。具体包括:
计算上下文先验模型P(c(z)|o)包括:
P(c(z)|o)=I(z)ωσ(z-x*)
Figure BDA0002939807020000091
计算置信图m(x)包括:
Figure BDA0002939807020000092
计算傅里叶算子:
Figure BDA0002939807020000093
按照上一帧学习得到的时空模型
Figure BDA0002939807020000094
通过更新得到新的时空上下文模型
Figure BDA0002939807020000095
Figure BDA0002939807020000096
计算置信图:
Figure BDA0002939807020000097
其中I(z)表示z坐标像素的灰度值,ωσ(z-x*)为加权高斯函数,
Figure BDA0002939807020000098
表示x的傅里叶变换,
Figure BDA0002939807020000099
表示x的傅里叶逆变换,ρ表示学习速度,a表示归一化常数,σ表示尺度参数,b表示归一化常量,α表示尺度参数,β表示形状参数,
Figure BDA00029398070200000910
表示更新前的时空上下文模型。下角标t表示更新前的参数,下角标表示更新后的参数。
步骤4,如果峰值旁瓣比大于阈值,则将置信度最大值所在位置作为第 t帧图像的跟踪结果,否则,以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置。
在跟踪过程中,对是否出现遮挡或者跟踪是否失败的判定非常重要,但就当前跟踪领域而言,如何定义一种客观的、可靠的判定度量仍是一个颇具争议的问题。结合跟踪算法的输出结果,定义这样一种判定度量,称之为峰值旁瓣比。具体地,对于时空上下文跟踪算法的频域输出结果g,取其最大值为峰值,而处于该峰值周围w×w窗口以外的部分即为旁瓣,由此,峰值旁瓣比定义如下:
Figure BDA0002939807020000101
其中,gmax为峰值,μs与δs分别为旁瓣的均值与标准差。
大量实验表明,当跟踪***处于稳定跟踪过程中时,其PSR值稳定在20.0 至60.0之间,而一旦PSR值降至6.0以下,此时,可以发现目标被遮挡或者出现了跟踪失败。由此可见,PSR可以作为一种非常有效的、客观的遮挡或跟踪失败判定度量。
步骤5,如果采用均值漂移算法预测的目标位置作为第t帧图像的跟踪位置,则根据跟踪位置对时空上下文模型
Figure BDA0002939807020000104
进行更新,更新跟踪滤波器,便于下一次迭代。即重新计算傅里叶算子,再更新时空模型
Figure BDA0002939807020000105
另一方面提供一种基于均值漂移预测和时空上下文信息的实时跟踪***,包括均值漂移预测模块、计算区域确定模块、时空上下文信息计算模块、以及输出模块。
均值漂移预测模块,根据第t-1帧跟踪得到的目标位置x(t-1),利用背景加权均值漂移算法得到目标的可能位置x*
进一步地,均值漂移预测模块包括权重计算单元、更新位置计算单元以及位置输出单元。
权重计算单元计算当前窗口内各像素点的权重:
Figure BDA0002939807020000102
更新位置计算单元计算候选目标的下一个新位置:
Figure BDA0002939807020000103
式中:yi表示像素点位置,n为当前窗口内像素点总数,b(yi)表示将像素点位置yi的像素映射到特征空间,qu为目标特征,u为1,2…m,m是特征空间的元素个数,δ(x)为1维Kronecker delta函数,pu(y0)为中心坐标为y0的目标候选区域的各特征分布密度,y0的位置取x(t-1),h为核函数k(x) 的带宽,,本文选择Epanechnikov核函数k(x),定义如下所示。
Figure BDA0002939807020000111
g(x)=-k′(x),k′(x)为即对k(x)求导。
位置输出单元判断是否小于||y1-y0||阈值,如果小于,则将得到的候选目标的下一个新位置y1,作为可能位置x*,将y1,发送权重计算单元替待y0
计算区域确定模块,确定x*为中心的上下文计算区域Ωc(x*),大小为 2M_Col×2M_Row。
时空上下文信息计算模块,计算上下文先验模型P(c(z)|o)和置信图m(x) 来对时空模型
Figure BDA0002939807020000115
进行快速学习,获取置信图mt+1(x)的最大置信度。
时空上下文信息计算模块包括模型计算单元、置信图计算单元、傅里叶算子计算单元、模型更新单元以及置信图更新输出单元;
模型计算单元,计算上下文先验模型P(c(z)|o):
P(c(z)|o)=I(z)ωσ(z-x*)
Figure BDA0002939807020000112
置信图计算单元,计算置信图m(x):
Figure BDA0002939807020000113
傅里叶算子计算单元,计算傅里叶算子:
Figure BDA0002939807020000114
模型更新单元,更新时空上下文模型:
Figure BDA0002939807020000121
置信图更新输出单元,计算更新后的置信图:
Figure BDA0002939807020000122
其中I(z)表示z坐标像素的灰度值,ωσ(z-x*)为加权高斯函数,
Figure BDA0002939807020000123
表示x的傅里叶变换,
Figure BDA0002939807020000124
表示x的傅里叶逆变换,ρ表示学习速度,a表示归一化常数,σ表示尺度参数,b表示归一化常量,α表示尺度参数,β表示形状参数,
Figure BDA0002939807020000125
表示更新前的时空上下文模型。
输出模块,计算置信图的峰值旁瓣比,如果比大于阈值,则将最大置信度所在位置作为第t帧图像的跟踪位置输出,否则,以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置输出。
更新模块,当以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置输出时,根据输出模块输出的第t帧图像的跟踪位置更新时空模型
Figure BDA0002939807020000126
实施例
选用两组测试图片序列对改进算法和时空上下文跟踪算法进行验证和测试。
图2为第一组car1图像序列跟踪结果截图,视频共计92帧,分辨率为320*240。目标在运动过程中发生了较大尺度的改变,背景比较复杂,且存在部分遮挡现象。
从图3的跟踪结果来看,本公开改进算法可以稳定跟踪快速运动的小车,当小车存在较大幅度尺度变化时仍能稳定跟踪一直到最后,但原始的时空上下文跟踪算法在后期当小车运动速度加快尺度发生较大变化时跟踪失败,在第65帧目标丢失。
使用矩形跟踪框的几何中心横纵坐标与目标实际位置中心横纵坐标的差值衡量跟踪算法的准确性,具体分析结果如图4、5所示。
从图4、5可以看出,由于均值漂移算法的预测,改进算法在两组图片序列中的跟踪精度均高于时空上下文跟踪算法。在car1图片序列中,本公开改进算法结果和目标实际位置之间平均偏差像素为(6.26,5.52),时空上下文跟踪算法结果和目标实际位置之间平均偏差像素为(20.23,18.69);在car2 图片序列中,本公开算法结果和目标实际位置之间平均偏差像素为(7.26, 8.52),时空上下文跟踪算法结果和目标实际位置之间平均偏差像素为(18.8, 7.69)。
算法运行平均耗时情况如下表1所示。
表1两种算法的耗时性能比较
Figure BDA0002939807020000131
从表1可以看出,本公开改进算法的平均时间与原始时空上下文跟踪算法时间相当,均值漂移算法在本公开改进算法运行时间中所占比重较小,可以不予考虑,故改进算法满足实时性要求。
综合上述实验结果,本公开提出的改进算法平均跟踪精度更高。从单帧平均跟踪时间来看,尽管本公开提出的改进算法平均用时略大于时空上下文跟踪算法,但从算法跟踪准确度及跟踪稳定性来看,本公开提出的改进算法要优于原始时空上下文跟踪算法。
考虑到跟踪实时性、抗遮挡能力、目标配准度以及工程应用的要求,本发明提出的基于均值漂移预测的时空上下文跟踪算法是一种不错的选择。
实验结果表明:在目标无遮挡时,改进算法可完成对目标的快速定位和跟踪;在目标被遮挡后,改进算法可实现对目标在下一帧中位置的准确预测,有效提高了目标跟踪的稳定性。
综上所述,本发明涉及一种基于均值漂移预测和时空上下文的实时跟踪方法及***,根据目标位置,利用背景加权均值漂移算法得到目标的可能位置;确定可能位置为中心的上下文计算区域;计算上下文先验模型和置信图来对时空模型进行快速学***台的实时性要求,是一种较为实用的实时视频图像目标跟踪方法。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于,包括:
根据第t-1帧跟踪得到的目标位置x(t-1)或初始选定的目标位置x(0),利用背景加权均值漂移算法得到目标的可能位置x*
确定x*为中心的上下文计算区域Ωc(x*);
计算上下文先验模型P(c(z)|o)和置信图m(x)来对时空模型进行快速学习,获取置信图mt+1(x)的最大置信度;
计算置信图mt+1(x)的峰值旁瓣比,如果该峰值旁瓣比大于阈值,则将最大置信度所在位置作为第t帧图像的跟踪位置;否则,以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置,并均值漂移算法预测的目标位置更新时空模型。
2.根据权利要求1所述的基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于,利用背景加权均值漂移算法得到目标的可能位置x*包括:
计算当前窗口内各像素点的权重:
Figure FDA0002939807010000011
计算候选目标的下一个新位置:
Figure FDA0002939807010000012
式中:yi表示像素点位置,n为当前窗口内像素点总数,b(yi)表示将像素点位置yi的像素映射到特征空间,qu为目标特征,u为1,2…m,m是特征空间的元素个数,δ(x)为1维Kronecker delta函数,pu(y0)为中心坐标为y0的目标候选区域的各特征分布密度,y0的位置取x(t-1),h为核函数k(x)的带宽;g(x)=-k′(x),k′(x)表示对k(x)求导;
Figure FDA0002939807010000021
判断‖y1-y0‖是否小于阈值,如果小于,则将得到的候选目标的下一个新位置y1,作为可能位置x*,否则采用y1替待y0,返回计算当前窗口内各像素点的权重的步骤。
进一步地,返回计算当前窗口内各像素点的权重的步骤的次数不超过15次。
3.根据权利要求2所述的基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于,计算区域Ωc(x*)以x*为中心,大小为2M_Col×2M_Row。进一步地,如果为初始帧,则人工手动选择的方式得到目标在图像中的初始位置x(0),初始化上下文先验模型P(c(z)|o)和置信图m(x)。
4.根据权利要求3所述的基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于:计算上下文先验模型P(c(z)|o)和置信图m(x)来对时空模型
Figure FDA0002939807010000022
进行快速学习包括:
计算上下文先验模型P(c(z)|o)包括:
P(c(z)|o)=I(z)ωσ(z-x*)
Figure FDA0002939807010000023
计算置信图m(x)包括:
Figure FDA0002939807010000024
计算傅里叶算子:
Figure FDA0002939807010000025
更新时空上下文模型:
Figure FDA0002939807010000031
计算置信图:
Figure FDA0002939807010000032
其中I(z)表示z坐标像素的灰度值,ωσ(z-x*)为加权高斯函数,
Figure FDA0002939807010000033
表示x的傅里叶变换,
Figure FDA0002939807010000034
表示x的傅里叶逆变换,ρ表示学习速度,a表示归一化常数,σ表示尺度参数,b表示归一化常数,α表示尺度参数,β表示形状参数,
Figure FDA0002939807010000035
表示更新前的时空上下文模型。
5.根据权利要求4所述的基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于:计算置信图mt+1(x)的峰值旁瓣比包括:
Figure FDA0002939807010000036
其中,gmax为时空上下文跟踪算法的频域输出结果的峰值,μs与δs分别为旁瓣的均值与标准差。
6.一种基于均值漂移预测和时空上下文信息的实时跟踪***,其特征在于,包括:
均值漂移预测模块,根据第t-1帧跟踪得到的目标位置x(t-1)或初始选定的目标位置x(0),利用背景加权均值漂移算法得到目标的可能位置x*
计算区域确定模块,确定x*为中心的上下文计算区域Ωc(x*);
时空上下文信息计算模块,计算上下文先验模型P(c(z)|o)和置信图m(x)来对时空模型进行快速学习,获取置信图mt+1(x)的最大置信度;
输出模块,计算置信图mt+1(x)的峰值旁瓣比,如果该峰值旁瓣比大于阈值,则将最大置信度所在位置作为第t帧图像的跟踪位置输出,否则,以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置输出;
更新模块,当以均值漂移算法预测的目标位置作为第t帧图像的跟踪位置输出时,以均值漂移算法预测的目标位置更新时空模型。
7.根据权利要求6所述的基于均值漂移预测和时空上下文信息的实时跟踪***,其特征在于,均值漂移预测模块包括权重计算单元、更新位置计算单元以及位置输出单元;
权重计算单元计算当前窗口内各像素点的权重:
Figure FDA0002939807010000041
更新位置计算单元计算候选目标的下一个新位置:
Figure FDA0002939807010000042
式中:yi表示像素点位置,n为当前窗口内像素点总数,b(yi)表示将像素点位置yi的像素映射到特征空间,qu为目标特征,u为1,2…m,m是特征空间的元素个数,δ(x)为1维Kronecker delta函数,pu(y0)为中心坐标为y0的目标候选区域的各特征分布密度,y0的位置取x(t-1),h为核函数k(x)的带宽,g(x)=-k′(x),k′(x)表示对k(x)求导;
Figure FDA0002939807010000043
位置输出单元判断‖y1-y0‖是否小于阈值,如果小于,则将得到的候选目标的下一个新位置y1,作为可能位置x*,将y1,发送权重计算单元替待y0
8.根据权利要求7所述的基于均值漂移预测和时空上下文信息的实时跟踪***,其特征在于,计算区域Ωc(x*)以x*为中心,大小为2M_Col×2M_Row。进一步地,如果为初始帧,则人工手动选择的方式得到目标在图像中的初始位置x(0),初始化上下文先验模型P(c(z)|o)和置信图m(x)。
9.根据权利要求6或7所述的基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于:时空上下文信息计算模块包括模型计算单元、置信图计算单元、傅里叶算子计算单元、模型更新单元以及置信图更新输出单元;
模型计算单元,计算上下文先验模型P(c(z)|o):
P(c(z)|o)=I(z)ωσ(z-x*)
Figure FDA0002939807010000051
置信图计算单元,计算置信图m(x):
Figure FDA0002939807010000052
傅里叶算子计算单元,计算傅里叶算子:
Figure FDA0002939807010000053
模型更新单元,更新时空上下文模型:
Figure FDA0002939807010000054
置信图更新输出单元,计算更新后的置信图:
Figure FDA0002939807010000055
其中I(z)表示z坐标像素的灰度值,ωσ(z-x*)为加权高斯函数,
Figure FDA0002939807010000056
表示x的傅里叶变换,
Figure FDA0002939807010000057
表示x的傅里叶逆变换,ρ表示学习速度,a表示归一化常数,σ表示尺度参数,b表示归一化常量,α表示尺度参数,β表示形状参数,
Figure FDA0002939807010000058
表示更新前的时空上下文模型。
10.根据权利要求6或7所述的基于均值漂移预测和时空上下文信息的实时跟踪方法,其特征在于:输出模块,计算置信图的峰值旁瓣比包括:
Figure FDA0002939807010000061
其中,gmax为时空上下文跟踪算法的频域输出结果的峰值,μs与δs分别为旁瓣的均值与标准差。
CN202110186933.4A 2021-02-06 2021-02-06 基于均值漂移预测和时空上下文信息的实时跟踪方法 Pending CN112907630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110186933.4A CN112907630A (zh) 2021-02-06 2021-02-06 基于均值漂移预测和时空上下文信息的实时跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110186933.4A CN112907630A (zh) 2021-02-06 2021-02-06 基于均值漂移预测和时空上下文信息的实时跟踪方法

Publications (1)

Publication Number Publication Date
CN112907630A true CN112907630A (zh) 2021-06-04

Family

ID=76123748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110186933.4A Pending CN112907630A (zh) 2021-02-06 2021-02-06 基于均值漂移预测和时空上下文信息的实时跟踪方法

Country Status (1)

Country Link
CN (1) CN112907630A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127776A (zh) * 2016-06-28 2016-11-16 北京工业大学 基于多特征时空上下文机器人目标识别与运动决策方法
CN106127811A (zh) * 2016-06-30 2016-11-16 西北工业大学 基于上下文的目标尺度自适应跟踪方法
CN106338733A (zh) * 2016-09-09 2017-01-18 河海大学常州校区 基于蛙眼视觉特性的前视声呐目标跟踪方法
CN106651909A (zh) * 2016-10-20 2017-05-10 北京信息科技大学 一种基于背景加权的尺度方向自适应均值漂移方法
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪***
CN108986142A (zh) * 2018-07-14 2018-12-11 李军 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法
CN111127519A (zh) * 2019-12-25 2020-05-08 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制***及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127776A (zh) * 2016-06-28 2016-11-16 北京工业大学 基于多特征时空上下文机器人目标识别与运动决策方法
CN106127811A (zh) * 2016-06-30 2016-11-16 西北工业大学 基于上下文的目标尺度自适应跟踪方法
CN106338733A (zh) * 2016-09-09 2017-01-18 河海大学常州校区 基于蛙眼视觉特性的前视声呐目标跟踪方法
CN106651909A (zh) * 2016-10-20 2017-05-10 北京信息科技大学 一种基于背景加权的尺度方向自适应均值漂移方法
CN107403175A (zh) * 2017-09-21 2017-11-28 昆明理工大学 一种运动背景下的视觉跟踪方法及视觉跟踪***
CN108986142A (zh) * 2018-07-14 2018-12-11 李军 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法
CN111127519A (zh) * 2019-12-25 2020-05-08 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制***及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING YANG等: "Context-Aware Visual Tracking", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
李珑等: "基于目标检测的时空上下文跟踪算法", 《计算机工程》 *

Similar Documents

Publication Publication Date Title
CN107424177B (zh) 基于连续相关滤波器的定位修正长程跟踪方法
CN110796010B (zh) 一种结合光流法和卡尔曼滤波的视频稳像方法
US20070133840A1 (en) Tracking Using An Elastic Cluster of Trackers
US8102390B2 (en) Frame by frame, pixel by pixel matching of model-generated graphics images to camera frames for computer vision
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN111127518A (zh) 基于无人机的目标跟踪方法及装置
CN111144213B (zh) 一种对象检测方法和相关设备
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN109448023B (zh) 一种卫星视频小目标实时跟踪方法
CN112488057A (zh) 一种利用人头点定位和关节点信息的单相机多目标跟踪方法
CN113379801B (zh) 一种基于机器视觉的高空抛物监测定位方法
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
Li et al. Object tracking in satellite videos: Correlation particle filter tracking method with motion estimation by Kalman filter
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN112634333A (zh) 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN114241008B (zh) 一种适应场景和目标变化的长时区域跟踪方法
CN113888629A (zh) 一种基于rgbd相机的快速物体三维位姿估计方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和***
CN111950599A (zh) 一种动态环境下融合边缘信息的稠密视觉里程计方法
CN112907630A (zh) 基于均值漂移预测和时空上下文信息的实时跟踪方法
CN110910425A (zh) 一种针对抵近飞行过程的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210604

RJ01 Rejection of invention patent application after publication