CN108846851B - 运动目标跟踪方法及终端设备 - Google Patents
运动目标跟踪方法及终端设备 Download PDFInfo
- Publication number
- CN108846851B CN108846851B CN201810381273.3A CN201810381273A CN108846851B CN 108846851 B CN108846851 B CN 108846851B CN 201810381273 A CN201810381273 A CN 201810381273A CN 108846851 B CN108846851 B CN 108846851B
- Authority
- CN
- China
- Prior art keywords
- target
- size
- determining
- response value
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004044 response Effects 0.000 claims abstract description 132
- 238000012549 training Methods 0.000 claims abstract description 127
- 230000007704 transition Effects 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 16
- 230000021615 conjugation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 17
- 230000008569 process Effects 0.000 abstract description 15
- 238000005286 illumination Methods 0.000 abstract description 11
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于计算机视觉与模式识别技术领域,提供了一种运动目标跟踪方法及终端设备。所述方法包括根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;根据状态转移滤波器确定目标搜索图像块的第一响应值;根据第一响应值确定第一最终响应值,再根据第一最终响应值确定待跟踪目标的跟踪位置;在跟踪位置处提取待跟踪目标的目标多尺寸训练样本;根据尺寸滤波器确定目标多尺寸训练样本的第二响应值;根据第二响应值确定第二最终响应值,再根据第二最终响应值确定待跟踪目标的跟踪尺寸。采用上述方案后,克服了跟踪过程中的位姿变化,光照改变,以及遮挡问题,提高了由于光照、复杂背景、遮挡等造成外观改变时目标跟踪的准确性。
Description
技术领域
本发明属于计算机视觉与模式识别技术领域,尤其涉及一种运动目标跟踪方法及终端设备。
背景技术
目标跟踪是指在视频序列的每一帧图像中跟踪到感兴趣的目标,其在人机交互、视频监控、车载导航等领域有着重要的应用价值,目前,科学家们提出各种算法应用于目标跟踪中,并取得了较好的跟踪效果,然而,这些算法仍然受光照改变、目标快速运动、遮挡等干扰的影响。
近年来,利用核函数可以将高维特征空间的内积计算转化为低维空间的函数计算,从而简化算法的计算复杂度,将核函数理论引入到相关滤波中构成核相关滤波算法在一定程度上提高了算法的运行效率,实现了高效的目标跟踪,然而,基于核函数的相关滤波算法在复杂背景的目标跟踪中仍然面临一些问题,目标容易受到光照变化的影响,当发生半遮挡或者全遮挡时容易跟丢目标,对快速运动目标的跟踪效果不佳。
发明内容
有鉴于此,本发明实施例提供了一种运动目标跟踪方法及终端设备,以解决现有技术中目标容易受到光照变化的影响,当发生半遮挡或者全遮挡时容易跟丢目标,对快速运动目标的跟踪效果不佳的问题。
本发明实施例的第一方面提供了一种运动目标跟踪方法,包括:
根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;
根据状态转移滤波器确定所述目标搜索图像块的第一响应值;
根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置;
在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本;
根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值;
根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸。
作为进一步的技术方案,所述方法还包括:
根据当前帧的前预设帧数的待跟踪目标的位置确定待跟踪目标的运动速度,再根据所述运动速度更改所述目标搜索图像块的大小。
作为进一步的技术方案,所述方法还包括:
根据表达式x=F(GetFhog(pSpatch))提取训练样本的fHOG特征,并对提取的fHOG特征进行快速傅里叶变换,其中,pSpatch表示训练样本的图像块,Spatch表示训练样本的图像块的位置和尺寸,GetFhog(·)表示提取训练样本的图像块的fHOG特征,F(·)表示快速傅里叶变换;
根据表达式由初始目标得到高斯型的回归目标,其中,rs=[1,…,w/2],cs=[1,…,h/2],w表示训练样本的图像块pSpatch的宽度,h表示训练样本的图像块pSpatch的高度,σ表示函数的宽度参数,
作为进一步的技术方案,所述方法还包括:
作为进一步的技术方案,所述方法还包括:
根据所述待跟踪目标中当前帧的跟踪结果的状态转移滤波器最大响应值和预设阈值确定响应值范围;
根据响应值范围确定不同的学习率;
根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新。
作为进一步的技术方案,所述根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新包括:
根据表达式对状态转移滤波器a进行更新,对目标图像块的fHOG特征进行更新,其中,λl表示学习率,ai表示当前帧的状态转移滤波器,x表示目标图像块的fHOG特征的快速傅里叶变换,xi表示当前帧跟踪到的目标图像块的fHOG特征的快速傅里叶变换;
作为进一步的技术方案,所述根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块包括:
根据表达式Searchpatch=Sli-1*×(1+padding)确定目标搜索图像块的位置和尺寸Searchpatch,其中,Sli-1*表示待跟踪目标当前帧的前一帧的位置和尺寸,即在i-1帧时的位置和尺寸,padding表示调节参数;
根据表达式z=F(GetFhog(Psp))提取目标搜索图像块的位置和尺寸的fHOG特征,并对fHOG特征进行快速傅里叶变换,其中,PSp表示目标搜索图像块,Searchpatch表示目标搜索图像块的位置和尺寸,GetFhog(Psp)表示获得目标搜索图像块的fHOG特征,F(·)为快速傅里叶变换。
本发明实施例的第二方面提供了一种运动目标跟踪装置,包括:
目标搜索图像块确定模块,用于根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;
第一响应值确定模块,用于根据状态转移滤波器确定所述目标搜索图像块的第一响应值;
跟踪位置确定模块,用于根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置;
目标多尺寸训练样本提取模块,用于在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本;
第二响应值确定模块,用于根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值;
跟踪尺寸确定模块,用于根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸。
本发明实施例的第三方面提供了一种运动目标跟踪终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如如上述第一方面所述的方法。
本发明实施例与现有技术相比存在的有益效果是:采用上述方案后,通过利用状态转移滤波器确定待跟踪目标的跟踪位置,再利用尺寸滤波器在跟踪位置处确定跟踪尺寸,克服了跟踪过程中的位姿变化,光照改变,以及遮挡问题,提高了由于光照、复杂背景、遮挡等造成外观改变时目标跟踪的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种运动目标跟踪方法的步骤流程图;
图2是本发明实施例提供的一种运动目标跟踪装置的结构示意图;
图3是本发明另一实施例提供的一种运动目标跟踪装置的结构示意图;
图4是本发明实施例提供的一种运动目标跟踪终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
如图1所示,为本发明实施例提供的一种运动目标跟踪方法的步骤流程图,包括以下步骤:
步骤S101,根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块。
具体的,目标在帧间运动时位置变化和尺寸变化具有一定的连续性,目标在前一帧的位置与当前帧的位置较接近,即:当前帧的目标将会出现在目标在前一帧位置的邻域范围内。所以根据前一帧位置和尺寸确定目标在当前帧中的状态,目标搜索图像块的大小直接影响待跟踪目标的跟踪结果,较小的目标搜索图像块适用于对运动速度较慢的待跟踪目标跟踪,有利于降低算法的计算耗时,当待跟踪目标快速运动时,较易移出到目标搜索图像块之外,从而造成跟踪失败,此时,为保证准确跟踪目标,应适当扩大目标搜索图像块的大小。
步骤S102,根据状态转移滤波器确定所述目标搜索图像块的第一响应值。
具体的,训练状态转移滤波器,再根据训练好的状态转移滤波器确定目标搜索图像块的第一响应值,优选的,利用表达式z_response=F-1(a·F(kxz))计算状态转移滤波器在目标搜索图像块中的第一响应值,其中x表示目标模板的快速傅里叶变换值,z表示目标搜索图像块的快速傅里叶变换值,kxz表示x和z的高斯相关性,a表示训练得到的状态转移滤波器,F-1(·)表示求解傅里叶逆变换。
步骤S103,根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置。
具体的,求解出目标搜索图像块的多个第一响应值后,根据多个第一响应值确定出第一最终响应值,优选的,根据表达式zi=argmax(z_response)确定第一最终响应值,即多个第一响应值中的最大第一响应值,在目标搜索图像块中第一响应值最大的确定为第一最终响应值,第一最终响应值的位置为所述待跟踪目标的跟踪位置。
步骤S104,在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本。
步骤S105,根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值。
具体的,求解出目标多尺寸训练样本的多个第二响应值后,根据多个第二响应值确定出第二最终响应值,优选的,根据表达式确定第二最终响应值,其中xs表示目标尺寸模板的快速傅里叶变换值,zs表示目标搜索图像块的快速傅里叶变换值,表示xs和zs的高斯相关性,as表示训练得到的尺寸滤波器,F-1(·)表示求解傅里叶逆变换。在目标多尺寸训练样本中第二响应值最大的确定为第二最终响应值,第二最终响应值的位置为所述待跟踪目标的跟踪尺寸。
步骤S106,根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸。
采用上述方案后,通过利用状态转移滤波器确定待跟踪目标的跟踪位置,再利用尺寸滤波器在跟踪位置处确定跟踪尺寸,克服了跟踪过程中的位姿变化,光照改变,以及遮挡问题,提高了由于光照、复杂背景、遮挡等造成外观改变时目标跟踪的准确性。
此外,在一个具体事例中,所述方法还包括:
根据当前帧的前预设帧数的待跟踪目标的位置确定待跟踪目标的运动速度,再根据所述运动速度更改所述目标搜索图像块的大小。
具体的,在当前帧图像中根据当前帧的前预设帧数的待跟踪目标的位置确定待跟踪目标的运动速度,进而改变目标搜索图像块的大小,根据表达式确定待跟踪目标的运动速度v,其中,Li-j表示在当前帧的前第j帧时待跟踪目标的位置,i表示当前帧,M表示前预设帧数,j=[1,2,…,M]表示当前帧的前第j帧。优选的,前预设帧数值为4,经过多次试验分析,选用当前帧的前4帧的待跟踪目标的位置确定的待跟踪目标的运动速度很准确,利用该运动速度能确定一个合适的目标搜索图像块大小,代入表达式为确定目标搜索图像块的运动速度v。
根据表达式确定目标搜索图像块的调节参数padding,其中,v代表目标搜索图像块的运动速度,thl和thh是目标搜索图像块的运动速度的阈值,根据这两个阈值将目标搜索图像块的运动速度分为低速、中速和高速运动三种。
此外,在一个具体事例中,所述方法还包括:
根据表达式确定训练样本的图像块的位置和尺寸Spatch,其中,padding表示提取训练样本的图像块的位置和尺寸时预设的调节的参数,表示待跟踪目标的当前帧的初始矩形框大小,优选的,在当前帧中padding的值设为固定值2,该固定值为工作人员经过多次试验得出的,根据该固定值确定的训练样本能很好的满足实际需求。
根据表达式x=F(GetFhog(pSpatch))提取训练样本的fHOG特征,并对提取的fHOG特征进行快速傅里叶变换,其中,pSpatch表示训练样本的图像块,Spatch表示训练样本图像块的位置和尺寸,GetFhog(·)表示提取训练样本的图像块的fHOG特征,F(·)表示快速傅里叶变换,根据训练样本的图像块的位置和尺寸Spatch可以直接得出训练样本的图像块pSpatch。
根据表达式由初始目标得到高斯型的回归目标,其中,rs=[1,…,w/2],cs=[1,…,h/2],w表示训练样本的图像块Spatch的宽度,h表示训练样本的图像块Spatch的高度,σ表示函数的宽度参数,
此外,在一个具体事例中,所述方法还包括:
此外,在一个具体事例中,所述方法还包括:
根据所述待跟踪目标中初始帧的后一帧跟踪结果的状态转移滤波器最大响应值和预设阈值确定响应值范围。
根据响应值范围确定不同的学习率。
根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新。
具体的,给定两个阈值H1和H2,并结合待跟踪目标当前帧的跟踪结果的状态转移滤波器最大响应值SC0确定响应值范围(SC0-H1,SC0+H2),如果当前帧状态转移滤波器的第一最终响应值或当前帧尺寸滤波器的第二最终响应值在给定响应值范围之间时,学习率λl为c,,否则学习率λl为1-c,优选的,当前帧状态转移滤波器的第一最终响应值或当前帧尺寸滤波器的第二最终响应值在给定响应值范围之间时,学习率λl为0.25,否则,学习率λl为0.75,如下式所示:其中,sc为当前帧状态转移滤波器的第一最终响应值或当前帧尺寸滤波器的第二最终响应值,λl表示学习率,H1和H2表示两个阈值。
此外,在一个具体事例中,所述根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新包括:
根据表达式对状态转移滤波器a进行更新,对目标图像块的fHOG特征进行更新,其中,λl表示学习率,ai表示当前帧的状态转移滤波器,x表示目标图像块的fHOG特征的快速傅里叶变换,xi表示当前帧跟踪到的目标图像块的fHOG特征的快速傅里叶变换。
此外,在一个具体事例中,所述根据待跟踪目标初始帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块包括:
根据表达式Searchpatch=Sli-1*×(1+padding)确定目标搜索图像块的位置和尺寸Searchpatch,其中,Sli-1*表示待跟踪目标当前帧的前一帧的位置和尺寸,即在i-1帧时的位置和尺寸,padding为调节参数。
根据表达式z=F(GetFhog(Psp))提取目标搜索图像块的位置和尺寸的fHOG特征,并对fHOG特征进行快速傅里叶变换,其中,PSp表示目标搜索图像块,Searchpatch表示目标搜索图像块的位置和尺寸,GetFhog(Psp)表示获得目标搜索图像块的fHOG特征,F(·)为快速傅里叶变换。
采用上述方案后,训练状态转移滤波器和尺寸滤波器用于目标位置和尺寸跟踪,在状态转移滤波器中根据连续几帧中的目标位置关系计算目标运动速度,进而确定目标搜索图像块的大小,提高对不同速度运动的目标跟踪的准确度,在滤波器更新过程中,根据初始帧的后一帧的待跟踪目标的状态转移滤波器的最大响应值和给定的两个阈值确定响应值范围,然后,对当前帧状态转移滤波器的最大响应值与响应值范围进行比较从而确定当前帧学习率,进而对状态转移滤波器和尺寸滤波器进行更新,以克服跟踪过程中的位姿变化,光照改变,以及遮挡问题,在尺寸滤波器更新过程中增加对尺寸因子的更新,以适应不同尺寸变化速率的目标跟踪。
如图2所示,为本发明实施例提供的一种运动目标跟踪装置,包括:
目标搜索图像块确定模块201,用于根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;
第一响应值确定模块202,用于根据状态转移滤波器确定所述目标搜索图像块的第一响应值;
跟踪位置确定模块203,用于根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置;
目标多尺寸训练样本提取模块204,用于在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本;
第二响应值确定模块205,用于根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值;
跟踪尺寸确定模块206,用于根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸。
采用上述方案后,通过利用状态转移滤波器确定待跟踪目标的跟踪位置,再利用尺寸滤波器在跟踪位置处确定跟踪尺寸,克服了跟踪过程中的位姿变化,光照改变,以及遮挡问题,提高了由于光照、复杂背景、遮挡等造成外观改变时目标跟踪的准确性。
如图3所示,为本发明实施例提供的一种运动目标跟踪装置,包括:
目标搜索图像块确定模块301,用于根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;
第一响应值确定模块302,用于根据状态转移滤波器确定所述目标搜索图像块的第一响应值;
跟踪位置确定模块303,用于根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置;
目标多尺寸训练样本提取模块304,用于在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本;
第二响应值确定模块305,用于根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值;
跟踪尺寸确定模块306,用于根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸。
此外,在一个具体事例中,所述装置还包括:
目标搜索图像块更改模块307,用于根据当前帧的前预设帧数的待跟踪目标的位置确定待跟踪目标的运动速度,再根据所述运动速度更改所述目标搜索图像块的大小。
此外,在一个具体事例中,所述装置还包括:
训练样本提取模块309,用于根据表达式确定训练样本的图像块的位置和尺寸Spatch,其中,padding表示提取训练样本的图像块的位置和尺寸时预设的调节的参数,表示待跟踪目标的当前帧的初始矩形框大小;
特征变换模块310,用于根据表达式x=F(GetFhog(pSpatch))提取训练样本的fHOG特征,并对提取的fHOG特征进行快速傅里叶变换,其中,pSpatch表示训练样本的图像块,Spatch表示训练样本图像块的位置和尺寸,GetFhog(·)表示提取训练样本的图像块的fHOG特征,F(·)表示快速傅里叶变换;
回归目标确定模块311,用于根据表达式由初始目标得到高斯型的回归目标,其中,rs=[1,…,w/2],cs=[1,…,h/2],w表示训练样本的图像块pSpatch的宽度,h表示训练样本的图像块pSpatch的高度,σ表示函数的宽度参数,
此外,在一个具体事例中,所述装置还包括:
多尺寸训练样本提取模块313,用于根据表达式xs=αnw0×αnh0确定在所述初始矩形框处提取多尺寸训练样本,其中α表示尺寸因子,表示训练样本的尺寸水平,S表示多尺寸训练样本的数目,h0表示初始矩形框的高,w0表示初始矩形框的宽;
此外,在一个具体事例中,所述装置还包括:
响应值范围确定模块317,用于根据所述待跟踪目标中当前帧的跟踪结果的状态转移滤波器最大响应值和预设阈值确定响应值范围;
学习率确定模块318,用于根据响应值范围确定不同的学习率;
滤波器更新模块319,用于根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新。
此外,在一个具体事例中,所述滤波器更新模块319还用于:
根据表达式对状态转移滤波器a进行更新,对目标图像块的fHOG特征进行更新,其中,λl表示学习率,ai表示当前帧的状态转移滤波器,x表示目标图像块的fHOG特征的快速傅里叶变换,xi表示当前帧跟踪到的目标图像块的fHOG特征的快速傅里叶变换;
此外,在一个具体事例中,所述目标搜索图像块确定模块301还用于:
根据表达式Searchpatch=Sli-1*×(1+padding)确定目标搜索图像块的位置和尺寸Searchpatch,其中,Sli-1*表示待跟踪目标当前帧的前一帧的位置和尺寸,即在i-1帧时的位置和尺寸,padding表示调节参数;
根据表达式z=F(GetFhog(Psp))提取目标搜索图像块的位置和尺寸的fHOG特征,并对fHOG特征进行快速傅里叶变换,其中,PSp表示目标搜索图像块,Searchpatch表示目标搜索图像块的位置和尺寸,GetFhog(Psp)表示获得目标搜索图像块的fHOG特征,F(·)为快速傅里叶变换。
采用上述方案后,训练状态转移滤波器和尺寸滤波器用于目标位置和尺寸跟踪,在状态转移滤波器中根据连续几帧中的目标位置关系计算目标运动速度,进而确定目标搜索图像块的大小,提高对不同速度运动的目标跟踪的准确度,在滤波器更新过程中,根据初始帧的后一帧的待跟踪目标的状态转移滤波器的最大响应值和给定的两个阈值确定响应值范围,然后,对当前帧状态转移滤波器的最大响应值与响应值范围进行比较从而确定当前帧学习率,进而对状态转移滤波器和尺寸滤波器进行更新,以克服跟踪过程中的位姿变化,光照改变,以及遮挡问题,在尺寸滤波器更新过程中增加对尺寸因子的更新,以适应不同尺寸变化速率的目标跟踪。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
如图4所示为本发明实施例提供的运动目标跟踪终端设备的示意图,该实施例的运动目标跟踪终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如运动目标跟踪程序。所述处理器40执行所述计算机程序42时实现上述各个运动目标跟踪方法实施例中的步骤,例如图1所示的步骤101至106。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图2所示模块201至206的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述运动目标跟踪终端设备4中的执行过程。例如,所述计算机程序42可以被分割成同步模块、汇总模块、获取模块、返回模块(虚拟装置中的模块),各模块具体功能如下:
根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块。
根据状态转移滤波器确定所述目标搜索图像块的第一响应值。
根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置。
在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本。
根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值。
根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸。
根据当前帧的前预设帧数的待跟踪目标的位置确定待跟踪目标的运动速度,再根据所述运动速度更改所述目标搜索图像块的大小。
根据表达式x=F(GetFhog(pSpatch))提取训练样本的fHOG特征,并对提取的fHOG特征进行快速傅里叶变换,其中,pSpatch表示训练样本的图像块,Spatch表示训练样本图像块的位置和尺寸,GetFhog(·)表示提取训练样本的图像块的fHOG特征,F(·)表示快速傅里叶变换。
根据表达式由初始目标得到高斯型的回归目标,其中,rs=[1,…,w/2],cs=[1,…,h/2],w表示训练样本的图像块pSpatch的宽度,h表示训练样本的图像块pSpatch的高度,σ表示函数的宽度参数,
根据所述待跟踪目标中当前帧的跟踪结果的状态转移滤波器最大响应值和预设阈值确定响应值范围。
根据响应值范围确定不同的学习率。
根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新。
根据表达式对状态转移滤波器a进行更新,对目标图像块的fHOG特征进行更新,其中,λl表示学习率,ai表示当前帧的状态转移滤波器,x表示目标图像块的fHOG特征的快速傅里叶变换,xi表示当前帧跟踪到的目标图像块的fHOG特征的快速傅里叶变换。
根据表达式Searchpatch=Sli-1*×(1+padding)确定目标搜索图像块的位置和尺寸Searchpatch,其中,Sli-1*表示待跟踪目标当前帧的前一帧的位置和尺寸,即在i-1帧时的位置和尺寸,padding表示调节参数。
根据表达式z=F(GetFhog(Psp))提取目标搜索图像块的位置和尺寸的fHOG特征,并对fHOG特征进行快速傅里叶变换,其中,PSp表示目标搜索图像块,Searchpatch表示目标搜索图像块的位置和尺寸,GetFhog(Psp)表示获得目标搜索图像块的fHOG特征,F(·)为快速傅里叶变换。
所述运动目标跟踪终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述运动目标跟踪终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是运动目标跟踪终端设备4的示例,并不构成对运动目标跟踪终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述运动目标跟踪终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述运动目标跟踪终端设备4的内部存储单元,例如运动目标跟踪终端设备4的硬盘或内存。所述存储器41也可以是所述运动目标跟踪终端设备4的外部存储设备,例如所述运动目标跟踪终端设备4上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述运动目标跟踪终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述运动目标跟踪终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (9)
1.一种运动目标跟踪方法,其特征在于,包括:
根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;
根据状态转移滤波器确定所述目标搜索图像块的第一响应值;
根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置;
在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本;
根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值;
根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸;
所述运动目标跟踪方法还包括:
根据表达式x=F(GetFhog(pSpatch))提取训练样本的fHOG特征,并对提取的fHOG特征进行快速傅里叶变换,其中,pSpatch表示训练样本的图像块,Spatch表示训练样本图像块的位置和尺寸,GetFhog(·)表示提取训练样本的图像块的fHOG特征,F(·)表示快速傅里叶变换;
根据表达式由初始目标得到高斯型的回归目标,其中,rs=[1,…,w/2],cs=[1,…,h/2],w表示训练样本的图像块pSpatch的宽度,h表示训练样本的图像块pSpatch的高度,σ表示函数的宽度参数,cell=4,σ'=0.1;
2.如权利要求1所述的运动目标跟踪方法,其特征在于,还包括:
根据当前帧的前预设帧数的待跟踪目标的位置确定待跟踪目标的运动速度,再根据所述运动速度更改所述目标搜索图像块的大小。
3.如权利要求1所述的运动目标跟踪方法,其特征在于,还包括:
4.如权利要求1所述的运动目标跟踪方法,其特征在于,还包括:
根据所述待跟踪目标中当前帧的跟踪结果的状态转移滤波器最大响应值和预设阈值确定响应值范围;
根据响应值范围确定不同的学习率;
根据学习率分别对所述状态转移滤波器和所述尺寸滤波器进行更新。
6.如权利要求1所述的运动目标跟踪方法,其特征在于,所述根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块包括:
根据表达式Searchpatch=Sli-1*×(1+padding)确定目标搜索图像块的位置和尺寸Searchpatch,其中,Sli-1*表示待跟踪目标当前帧的前一帧的位置和尺寸,即在i-1帧时的位置和尺寸,padding表示调节参数;
根据表达式z=F(GetFhog(Psp))提取目标搜索图像块的位置和尺寸的fHOG特征,并对fHOG特征进行快速傅里叶变换,其中,PSp表示目标搜索图像块,Searchpatch表示目标搜索图像块的位置和尺寸,GetFhog(Psp)表示获得目标搜索图像块的fHOG特征,F(·)为快速傅里叶变换。
7.一种运动目标跟踪装置,其特征在于,包括:
目标搜索图像块确定模块,用于根据待跟踪目标当前帧的前一帧的位置和尺寸确定当前帧的目标搜索图像块;
第一响应值确定模块,用于根据状态转移滤波器确定所述目标搜索图像块的第一响应值;
跟踪位置确定模块,用于根据所述第一响应值确定第一最终响应值,再根据所述第一最终响应值确定所述待跟踪目标的跟踪位置;
目标多尺寸训练样本提取模块,用于在所述跟踪位置处提取所述待跟踪目标的目标多尺寸训练样本;
第二响应值确定模块,用于根据尺寸滤波器确定所述目标多尺寸训练样本的第二响应值;
跟踪尺寸确定模块,用于根据所述第二响应值确定第二最终响应值,再根据所述第二最终响应值确定所述待跟踪目标的跟踪尺寸;
所述运动目标跟踪装置还包括:
特征变换模块,用于根据表达式x=F(GetFhog(pSpatch))提取训练样本的fHOG特征,并对提取的fHOG特征进行快速傅里叶变换,其中,pSpatch表示训练样本的图像块,Spatch表示训练样本图像块的位置和尺寸,GetFhog(·)表示提取训练样本的图像块的fHOG特征,F(·)表示快速傅里叶变换;
回归目标确定模块,用于根据表达式由初始目标得到高斯型的回归目标,其中,rs=[1,…,w/2],cs=[1,…,h/2],w表示训练样本的图像块pSpatch的宽度,h表示训练样本的图像块pSpatch的高度,σ表示函数的宽度参数,cell=4,σ'=0.1;
8.一种运动目标跟踪终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810381273.3A CN108846851B (zh) | 2018-04-25 | 2018-04-25 | 运动目标跟踪方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810381273.3A CN108846851B (zh) | 2018-04-25 | 2018-04-25 | 运动目标跟踪方法及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108846851A CN108846851A (zh) | 2018-11-20 |
CN108846851B true CN108846851B (zh) | 2020-07-28 |
Family
ID=64212297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810381273.3A Active CN108846851B (zh) | 2018-04-25 | 2018-04-25 | 运动目标跟踪方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108846851B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685832A (zh) * | 2018-12-26 | 2019-04-26 | 山东创科自动化科技有限公司 | 一种运动目标跟踪方法、装置及计算机设备 |
CN109993776B (zh) * | 2019-04-04 | 2020-12-11 | 杭州电子科技大学 | 一种基于多级模板的相关滤波目标跟踪方法及*** |
CN111815670A (zh) * | 2019-04-10 | 2020-10-23 | 曜科智能科技(上海)有限公司 | 多视图目标跟踪方法、装置、***、电子终端、及存储介质 |
CN111080675B (zh) * | 2019-12-20 | 2023-06-27 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
CN111723593B (zh) * | 2020-06-19 | 2024-05-10 | 中国科学院微电子研究所 | 一种条形码定位方法及定位装置 |
CN111754548B (zh) * | 2020-06-29 | 2023-10-03 | 西安科技大学 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
CN113822911B (zh) * | 2021-10-08 | 2022-09-16 | 中国人民解放军国防科技大学 | 柱状倾斜目标的跟踪方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366370A (zh) * | 2013-07-03 | 2013-10-23 | 深圳市智美达科技有限公司 | 视频监控中的目标跟踪方法和装置 |
CN104574445A (zh) * | 2015-01-23 | 2015-04-29 | 北京航空航天大学 | 一种目标跟踪方法及装置 |
CN106251364A (zh) * | 2016-07-19 | 2016-12-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法及装置 |
CN106874854A (zh) * | 2017-01-19 | 2017-06-20 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
CN106875426A (zh) * | 2017-02-21 | 2017-06-20 | 中国科学院自动化研究所 | 基于相关粒子滤波的视觉跟踪方法及装置 |
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
-
2018
- 2018-04-25 CN CN201810381273.3A patent/CN108846851B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366370A (zh) * | 2013-07-03 | 2013-10-23 | 深圳市智美达科技有限公司 | 视频监控中的目标跟踪方法和装置 |
CN104574445A (zh) * | 2015-01-23 | 2015-04-29 | 北京航空航天大学 | 一种目标跟踪方法及装置 |
CN106251364A (zh) * | 2016-07-19 | 2016-12-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法及装置 |
CN106874854A (zh) * | 2017-01-19 | 2017-06-20 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN106875426A (zh) * | 2017-02-21 | 2017-06-20 | 中国科学院自动化研究所 | 基于相关粒子滤波的视觉跟踪方法及装置 |
CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
陈倩茹等.多相关滤波自适应融合的鲁棒目标跟踪.《中国图像图形学报》.2018,第23卷(第2期), * |
Also Published As
Publication number | Publication date |
---|---|
CN108846851A (zh) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108846851B (zh) | 运动目标跟踪方法及终端设备 | |
WO2020119527A1 (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
CN104200237B (zh) | 一种基于核化相关滤波高速自动多目标跟踪方法 | |
CN111860398B (zh) | 遥感图像目标检测方法、***及终端设备 | |
CN112336342B (zh) | 手部关键点检测方法、装置及终端设备 | |
CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
CN111860276B (zh) | 人体关键点检测方法、装置、网络设备及存储介质 | |
US20200184682A1 (en) | Object pose tracking method and apparatus | |
CN110796135B (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
CN105894538A (zh) | 一种目标跟踪方法和装置 | |
CN107368802B (zh) | 基于kcf和人脑记忆机制的运动目标跟踪方法 | |
CN108647597B (zh) | 一种手腕识别方法、手势识别方法、装置和电子设备 | |
CN112634316B (zh) | 目标跟踪方法、装置、设备和存储介质 | |
CN108053424A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN111754548A (zh) | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 | |
CN110378932B (zh) | 一种基于空间正则矫正的相关滤波视觉跟踪方法 | |
CN113158904B (zh) | 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置 | |
CN110633630B (zh) | 一种行为识别方法、装置及终端设备 | |
CN112926436A (zh) | 行为识别方法及装置、电子设备和存储介质 | |
CN108093153B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN115661198A (zh) | 基于单阶段目标追踪模型的目标追踪方法、装置及介质 | |
CN115205094A (zh) | 一种神经网络训练方法、图像检测方法及其设备 | |
WO2020237674A1 (zh) | 目标跟踪方法、目标跟踪装置和无人机 | |
CN110147819B (zh) | 一种视频特征提取方法、装置、可读存储介质及终端设备 | |
CN113743387B (zh) | 视频行人重识别方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |