CN111754548A - 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 - Google Patents
一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 Download PDFInfo
- Publication number
- CN111754548A CN111754548A CN202010604817.5A CN202010604817A CN111754548A CN 111754548 A CN111754548 A CN 111754548A CN 202010604817 A CN202010604817 A CN 202010604817A CN 111754548 A CN111754548 A CN 111754548A
- Authority
- CN
- China
- Prior art keywords
- target
- size
- response
- tracking
- peak value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001914 filtration Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005314 correlation function Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 15
- 238000004904 shortening Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 240000001114 Aniseia martinicensis Species 0.000 description 1
- 241000195940 Bryophyta Species 0.000 description 1
- 230000008649 adaptation response Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于响应判别的多尺度相关滤波目标跟踪方法及装置，具体包括：确定当前帧图像的初始目标位置及初始目标尺寸；根据初始目标尺寸确定跟踪窗口尺寸；基于初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；对采样图像块进行目标检测，获取该采样图像块对应的响应图，提取响应图的最大响应峰值作为第一最大响应峰值；响应于第一最大响应峰值大于等于第一阈值，根据第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸；本发明不必要对每一帧图像都进行多尺度检测，从而降低视频序列中进行目标跟踪的计算量，缩短计算时间，以实现视频序列的实时跟踪。
Description
技术领域
本发明属于目标跟踪技术领域，尤其涉及一种基于响应判别的多尺度相关滤波目标跟踪方法和装置。
背景技术
目标跟踪是计算机视觉的一个重要研究方向，是在视频序列中准确找到感兴趣目标的位置及运动轨迹等信息，广泛应用在安防监控、军事制导、人机交互、医学诊断、虚拟现实、智能交通以及视觉导航等领域。在实际跟踪应用中，目标尺度大小在视频序列中的变化是经常发生的情况，目标跟踪模板的尺度是否准确对跟踪的性能优劣具有重要影响，随着尺度错误不断地蔓延与积累，最终造成会目标跟踪严重失败。
目前，在跟踪方法中特征提取和响应值计算都会带来大量的计算负担，尺度数目越多，目标跟踪的计算量越大，进而导致计算时间比较长，难以实现目标的实时跟踪。
发明内容
本发明的目的是提供一种基于响应判别的多尺度相关滤波目标跟踪方法和装置，以降低视频序列中进行目标跟踪的计算量，缩短计算时间，实现视频序列的实时跟踪。
本发明采用以下技术方案：一种基于响应判别的多尺度相关滤波目标跟踪方法，适用于视频图像中的第t帧图像，t≥2，包括以下步骤：
确定当前帧图像的初始目标位置及初始目标尺寸；
根据初始目标尺寸确定跟踪窗口尺寸；
基于初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；
对采样图像块进行目标检测，获取该采样图像块对应的响应图，提取响应图的最大响应峰值作为第一最大响应峰值；
响应于第一最大响应峰值大于等于第一阈值，根据第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
进一步地，该方法还包括：
响应于第一最大响应峰值小于第一阈值，根据目标缩放尺度池对采样图像块进行缩放，得到多个不同尺寸的样本图像块；
调整缩放后的多个样本图像块至预定大小，对调整后的多个样本图像块进行目标检测，获得多个样本图像块对应的响应图，提取多个样本图像块对应的响应图的最大响应峰值，作为第二最大响应峰值；
根据第二最大响应峰值和第一最大响应峰值的最大值确定第三最大响应峰值；
根据第三最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
进一步地，根据初始目标尺寸确定跟踪窗口尺寸包括：
当初始目标尺寸大于等于第二阈值，缩小初始目标尺寸至
确定跟踪窗口尺寸
其中，M、N分别为初始目标尺寸的长度和宽度；
当初始目标尺寸小于等于第三阈值，放大初始目标尺寸至2M×2N，确定跟踪窗口尺寸(3*2M)×(3*2N)；
当初始目标尺寸大于第三阈值、且小于第二阈值时，确定跟踪窗口尺寸
其中，第二阈值大于第三阈值。
进一步地，获取该采样图像块对应的响应图包括：
其中，f(z)为采样图像块对应的响应图，F-1(·)为傅里叶逆变换，kxz为x和z在傅里叶域中的核互相关函数，x为前一帧图像的采样图像块中多维特征集合更新值的时域信号，z为当前帧图像选取的采样图像块的多维特征集合，⊙为点积运算，
为进行目标跟踪时滤波器系数的傅里叶系数。
进一步地，确定当前帧图像的初始目标位置及初始目标尺寸包括：
获取前一帧图像中的最终目标位置和最终目标尺寸，并将其作为当前帧图像的初始目标位置和初始目标尺寸。
进一步地，前一帧图像的采样图像块中多维特征集合更新值的获取方法为：
其中，
为第t帧图像的采样图像块中多维特征集合更新值，η为目标跟踪时滤波器的学习率参数，
为第t-1帧的初始目标尺寸对应的采样图像块中的多维特征集合，
为t-1帧的最终目标尺寸对应的采样图像块中多维特征集合。
本发明的另一种技术方案：一种基于响应判别的多尺度相关滤波目标跟踪装置，适用于视频图像中的第t帧图像，t≥2，包括：
第一确定模块，用于确定当前帧图像的初始目标位置及初始目标尺寸；
第二确定模块，用于根据初始目标尺寸确定跟踪窗口尺寸；
提取模块，用于基于初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；
检测模块，用于对采样图像块进行目标检测，获取该采样图像块对应的响应图，提取响应图的最大响应峰值作为第一最大响应峰值；
第三确定模块，响应于第一最大响应峰值大于等于第一阈值，根据第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
进一步地，该装置还包括：
缩放模块，用于响应于第一最大响应峰值小于第一阈值，根据目标缩放尺度池对采样图像块进行缩放，得到多个不同尺寸的样本图像块；
调整模块，调整缩放后的多个样本图像块至预定大小，对调整后的多个样本图像块进行目标检测，获得多个样本图像块对应的响应图，提取多个样本图像块对应的响应图的最大响应峰值，作为第二最大响应峰值；
第四确定模块，用于根据第二最大响应峰值和第一最大响应峰值的最大值确定第三最大响应峰值；
第五确定模块，用于根据第三最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
本发明的另一种技术方案：一种基于响应判别的多尺度相关滤波目标跟踪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项上述的一种基于响应判别的多尺度相关滤波目标跟踪方法。
本发明的另一种技术方案：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现任一项上述的一种基于响应判别的多尺度相关滤波目标跟踪方法。
本发明的有益效果是：本发明通过对前一帧图像的目标跟踪结果，确定当前帧图像的目标跟踪初始数据，并根据初始数据对当前帧图像进行目标跟踪，获取当前帧目标图像的最大响应峰值，结合该最大响应峰值选择目标跟踪方法，当最大响应峰值大于阈值时，即不必要对该帧图像进行多尺度检测，从而降低视频序列中进行目标跟踪的计算量，缩短计算时间，以实现视频序列的实时跟踪。
附图说明
图1为本发明实施例一种基于响应判别的多尺度相关滤波目标跟踪方法的流程示意图；
图2为本发明实施例一种基于响应判别的多尺度相关滤波目标跟踪装置的模块结构示意图；
图3为本发明实施例一种基于响应判别的多尺度相关滤波目标跟踪设备的模块结构示意图；
图4为本发明实施例中基于OTB100数据库不同目标跟踪算法的DP跟踪精度图和AUC成功率图；
图5为本发明实施例中基于OTB50数据库不同目标跟踪算法的DP跟踪精度图和AUC成功率图；
图6为本发明实施例中基于UAV123数据库不同目标跟踪算法的DP跟踪精度图和AUC成功率图；
图7为本发明实施例中“Couple”视频基于不同***的定性比较结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
在计算机视觉、安防监控与视频智能目标跟踪领域中，相关滤波目标跟踪算法具有较强的稳定性和鲁棒性，是近年来鉴别式跟踪算法的研究热点方向。MOSSE、CSK、KCF相关滤波目标跟踪算法均采用固定大小滤波器，没有考虑尺度变化问题。
当前多尺度目标跟踪算法主要有基于平移滤波器和尺度滤波器相结合的判别尺度空间跟踪算法(DSST)、基于PCA降维的快速DSST算法(fDSST)、基于KCF的多特征自适应尺度跟踪算法(SAMF)。
DSST算法跟踪性能不够精确，计算效率不高；fDSST算法跟踪速度较快，但对平移滤波器精度要求较高，其跟踪性能不稳定，出视野、形变、低分辨率属性的视频跟踪性能不佳。SAMF算法简单、易于实现，位置检测和尺度估计相互结合比较稳定，广泛应用于CCOT、ECO、SRDCF等优秀***中。
在跟踪算法中特征提取和响应值计算都会带来大量的计算负担，尺度数目越多，跟踪速度越慢。SAMF算法需要在每帧的图像上对7个尺度的缩放样本图片进行检测处理，随着检测尺度数量的增加，其跟踪时间效率严重下降，SAMF算法比KCF算法降低了十多倍，这造成SAMF算法是一个非实时跟踪算法。
因此，本发明充分利用跟踪结果的反馈信息进行分类处理，改进现有方法，不但能够有效地提高跟踪速度，实现实时目标跟踪，而且跟踪性能也有显著提升。具体的，分辨率放大以及判断是否进行尺度变化的过程中会提升跟踪的速度和精度，并且，本发明还减少了由于尺度变化引起的误差。
本发明实施例公开了一种基于响应判别的多尺度相关滤波目标跟踪方法，如图1所示，适用于视频图像中的第t帧图像，t≥2，包括以下步骤：
步骤S110、确定当前帧图像的初始目标位置及初始目标尺寸；步骤S120、根据初始目标尺寸确定跟踪窗口尺寸；步骤S130、基于所述初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；步骤S140、对所述采样图像块进行目标检测，获取该采样图像块对应的响应图，提取所述响应图的最大响应峰值作为第一最大响应峰值；步骤S150、响应于所述第一最大响应峰值大于等于第一阈值，根据所述第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
本发明实施例通过对前一帧图像的目标跟踪结果，确定当前帧图像的目标跟踪初始数据，并根据初始数据对当前帧图像进行目标跟踪，获取当前帧目标图像的最大响应峰值，结合该最大响应峰值选择具体的目标跟踪方法，当最大响应峰值大于阈值时，即不必要对该帧图像进行多尺度检测，从而降低视频序列中进行目标跟踪的计算量，缩短计算时间，以实现视频序列的实时跟踪。
需要说明的是，在跟踪过程中特征提取和响应值计算都会带来大量的计算负担，检测图像的采样图像块的数目越多，跟踪速度越慢。然而在实际视频应用中，并非每一帧目标都会发生尺度变化，SAMF方法对每一帧图像进行无差别的尺度处理策略，对于非尺度变化的图像会产生大量的运算代价浪费。
通过大量实验对比发现，除了跟踪严重失败后发生目标模板漂移的视频帧，目标跟踪较为准确的视频图像，其采样图像块的响应峰值均大于0.5。
因此，本发明实施例提的基于自适应响应判别的多尺度检测方法，通过最大响应峰值和第一阈值进行比较判别，对于目标跟踪较为准确的视频帧图像(即响应峰值≥第一阈值)不进行多尺度检测，从而节省大量运算时间，而且，也会减少由于尺度变化带来的检测误差；对于目标跟踪性能不准确(即响应峰值＜第一阈值)的视频帧图像，性能降低有可能是因为尺度变化引起的，因此，对这些视频帧的跟踪结果进行多尺度检测，从而修正结果提高跟踪性能。
具体的，对当前输入的图像帧进行目标检测(即目标跟踪)，可以获得待测目标图像块的响应图和跟踪位置。随后根据响应图中的最大响应峰值Rmax进行分类判断，如果响应峰值大于等于给定的多尺度检测阈值Tdete(即第一阈值)，即Rmax≥Tdete，则认为目标跟踪比较准确，因此，仅采用单尺度的目标检测方法，如KCF等，不进行尺度检测。反之，如果最大响应峰值小于给定的多尺度检测阈值Tdete，即Rmax<Tdete，则认为跟踪目标不够准确，有可能存在尺度变化情况，这时采用多尺度检测策略进行处理。
例如，对当前帧第t帧图像It，提取第t-1帧的最终目标位置Pt-1，以及最终目标尺寸，判断该目标尺寸与第二阈值、第三阈值之间的大小关系，进而根据其大小以及对应的尺度信息，计算出对应的跟踪窗口尺寸，并且，在该帧中将该跟踪窗口的尺寸设定为尺度为1，即M*N，根据该尺寸提取采样图像块zt，使用公式(1)计算获得滤波器响应图f(zt)，并通过公式(3)得出响应最大值(及最大响应峰值)
首先，本发明实施例使用灰度特征、方向梯度直方图特征(Histogram ofOriented gradients，HOG)、颜色特征(Color-Names，CN)等多种特征融合来表征图像，每个通道存储一类图像特征，从而构成D维特征集合x＝{x1,…,xd,…,xD}，d∈{1，2，…,D}，D为正整数。使用前一帧图像进行目标识别后训练得到的核相关滤波器对待检测采样图像块zt进行目标检测，通过公式(1)可以获得滤波器响应图f(z)。
具体的，获取该采样图像块对应的响应图包括：
其中，f(z)为采样图像块对应的响应图，F-1(·)为傅里叶逆变换，kxz为x和z在傅里叶域中的核互相关函数，x为前一帧图像选取的采样图像块中多维特征集合的更新值的时域信号，z为当前帧图像选取的采样图像块的多维特征集合，⊙为点积运算，
为进行目标检测时滤波器系数的傅里叶系数。
在该响应值的计算方法中，使用之前帧图像的数据跟踪结果来训练并修正目标跟踪滤波器的参数，再用修正后的滤波器对当前帧的图像进行目标检测，进而使得目标跟踪结果更加精确。
对于kxz，在对偶域中基于多特征的相关滤波器可以简单地通过每个通道的累加求和来实现，高斯核函数通过公式(2)来实现多通道特征的扩展。
其中，
是
的复共轭，
为x的傅里叶系数，
为z的傅里叶系数，α为进行目标跟踪时滤波器系数，
为x(这里的x为前一帧图像的采样图像块中多维特征集合更新值的时域信号)中第d个维度的傅里叶系数，
为z中第d个维度的傅里叶系数。
公式(3)具体为：
fmax＝argmaxf(z) (3)
其中，fmax为最大响应峰值，由该最大相应峰值所在的位置可以获得目标位置的偏移量，进而可以获得当前帧图像中待跟踪目标相对于上一帧时的偏移位置。
在该实施例中，将通过公式(3)得到的
与第一阈值Tdete进行比较，当
≥Tdete时，说明得到的目标跟踪结果精确度满足要求，不再进行多尺度目标跟踪过程；当
时，说明目标跟踪结果的精度不足以满足要求，则需要进行多尺度目标跟踪过程。多尺度目标跟踪过程的方法具体为：
响应于第一最大响应峰值小于第一阈值，根据目标缩放尺度池对采样图像块进行缩放，得到多个不同尺寸的样本图像块；调整缩放后的多个样本图像块至预定大小，对调整后的多个样本图像块进行目标检测，获得多个样本图像块对应的响应图，提取多个样本图像块对应的响应图的最大响应峰值，作为第二最大响应峰值；根据第二最大响应峰值和第一最大响应峰值的最大值确定第三最大响应峰值；根据第三最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
通过上述的方法，可以在第一响应峰值小于第一阈值时，采用多尺度检测方法，进而增加目标跟踪准确性。
例如，当采样图像块z进行缩放处理，可获得s个尺度大小为anM×anN的缩放样本图片
这里，s表示尺度个数，a为尺度因子，
是尺度池。当n＝0,aoM×aoN就是M×N，即未进行缩放处理的采样图像块。
然而，由于滤波器只能对固定大小的图像块进行目标跟踪时，所以，本实施例中使用双线性插值方法调整每个anM×anN尺度大小的缩放样本zn为固定尺度M×N，再采用公式(1)分别对于所有尺度样本图片{zn}进行目标跟踪检测，从而获得s个滤波器响应图{f(zn)}，根据s+1个最大响应峰值中的最大值
所在尺度样本图片的位置，可以获得待检测目标的跟踪位置以及最优尺度，即根据响应峰值最大值
得到当前第t帧的目标位置Pt，再找到该响应峰值对应的缩放尺度an，即为最优尺度sopt。
作为一种具体的实现方式，对当前图像进行目标检测时，初始目标尺寸是上一帧图像中的最终目标尺寸，该最终目标尺寸可能是经过缩放后的，也可能是未经过缩放的，并且，该最终尺寸可能是较大或较小的，如果该目标尺寸过大，可能会造成目标检测到的图像过下，导致目标不清晰，如果目标尺寸过小，易造成目标检测的图像不够全面。所以，需要对该初始目标尺寸进行判断，在根据判断后的目标尺寸确定跟踪窗口的尺寸，具体方法为：
当初始目标尺寸大于等于第二阈值，缩小初始目标尺寸至
确定跟踪窗口尺寸
其中，M、N分别为初始目标尺寸的长度和宽度；
当初始目标尺寸小于等于第三阈值，放大所述初始目标尺寸至2M×2N，确定跟踪窗口尺寸(3*2M)×(3*2N)；
当初始目标尺寸大于第三阈值、且小于第二阈值时，确定跟踪窗口尺寸
其中，所述第二阈值大于第三阈值。
实际跟踪应用中，跟踪窗口的尺寸过大或过小都会影响最终的跟踪性能，因此，KCF、SAMF、fDSST算法在目标跟踪前都会对高分辨率视频图像进行预处理，即如果跟踪目标图片尺度太大，就会缩小图片尺寸以保证跟踪性能和速度。对于跟踪目标过小的低分辨率视频，KCF、SAMF、fDSST算法并没有进行预处理。由于目标太小，特征信息不足够有效表征目标特性，并且还会受到背景的严重影响，造成这些算法对低分辨率视频跟踪性能比较差。
本实施例中提出的方法，采用分段预处理方法，算法采用双阈值(第二阈值和第三阈值)分辨率预处理方法，对于过大尺度的高分辨率跟踪目标图像，放大跟踪窗口的尺寸，对于过小尺度的低分辨率跟踪目标图像，缩小跟踪窗口的尺寸。这样可以有效增加低分辨率目标的特征信息，提升跟踪性能。
示例性的，如果目标尺寸大于或等于100*100(像素*像素)，则此视频目标具有高分辨率特性，于是将目标尺寸大小减半，并设置扩展padding(属性)倍数为1，因此，其跟踪窗口的尺寸即为
如果目标尺寸小于或等于35*35，则认为视频目标具有低分辨率特性，于是将目标尺寸大小增倍，并设置扩展padding倍数为2，因此，其跟踪窗口的尺寸即为((2+1)*M)×((2+1)*N)。
其余情况，则认为视频目标尺寸具有标准分辨率特性，于是对目标尺寸不进行调整，设置扩展padding倍数为1.5，因此，其跟踪窗口的尺寸即为((1.5+1)*M)×((1.5+1)*N)。
上述的分段预处理方法的程序流程如下：
通过对初始目标尺寸进行检测，并根据目标尺寸进行对应的调整或不调整，可以保证初始目标尺寸更适于目标跟踪，获取良好的目标跟踪效果。
示例性的，本实施例中的确定当前帧图像的初始目标位置及初始目标尺寸包括：
获取前一帧图像中的最终目标位置和最终目标尺寸，并将其作为当前帧图像的初始目标位置和初始目标尺寸。在另外的一些情况下，当当前帧图像为该视频的第一帧时，可以通过用户指定的目标位置和目标尺寸作为最终目标位置和最终目标尺寸。
在本发明实施例中，会结合之前的目标跟踪结果进行目标跟踪滤波器的参数优化，即对目标跟踪滤波器不断训练，使其目标跟踪结果更加精确。在本发明实施例中，采用图像块中像素点的多维特征集合作为目标跟踪滤波器的训练样本。
本发明实施例的模型训练过程如下：
1.根据第t帧的目标位置Pt和最优尺度sopt，获得第t帧新的目标模板xnew；
2.采用公式(5)获得新的滤波器系数α，在模型更新过程的公式中，将其作为αnew。
首先，训练一个最优判别相关滤波函数f(x)＝wTx用来检测跟踪目标，此时，x作为基样本，使得基样本x的循环位移图像块xi与回归目标yi的二范数误差最小，如公式(4)所示：
其中，λ为控制过拟合的正则化参数，w线性解变量，wT为w的转置。
其次，利用“核机制”将线性解w变量映射到非线性特征空间φ(x)中，即
由此可获得公式(4)在对偶域的解为
式中，该算子有效地提高了Fourier域的计算效率，kxx是基样本x的核自相关函数，
为期望y的傅里叶频域信号。
基于多特征的高斯核自相关函数可以通过公式(6)计算得到
式中，
为
的复共轭，
为
中第d个维度的傅里叶系数。
具体的，在本发明实施例中的更新过程如下：
使用
和
更新目标模板
和滤波器模型系数
由于视频跟踪目标的形态会产生不断变化，为了进一步提高跟踪算法的鲁棒性，采用公式(7)的模型更新策略来获得新的跟踪滤波系数及目标特征信息。
具体的，前一帧图像的采样图像块中多维特征集合更新值的获取方法即为公式(7)中所示：
其中，
为第t帧图像采样图像块的多维特征集合的更新值，η为目标跟踪时滤波器的学习率参数，
为第t-1帧初始目标识别窗口对应的采样图像块的多维特征集合，
为t-1帧的最终跟踪窗口对应的采样图像块的多维特征集合。
具体的，上述方法的软件实现流程具体为：
在本发明的一个实施例中，对一段视频进行目标跟踪时，其跟踪过程如下：
步骤一、对当前帧的目标尺寸进行多分辨率分段预处理设置。
步骤二、对视频第1帧在初始给定的跟踪目标位置P1处(可以是窗口的左上角的位置，也可以是中心位置，或者是其他位置)获取图像样本块x1，提取图像块x1的特征信息，并训练获得目标跟踪的相关滤波器α1。
步骤三：采用基于响应判别的多尺度检测改进策略，对后续各视频帧循环进行目标跟踪、模型训练和模型更新三个过程处理，最终得到该段视频的目标识别信息。
本发明基于当前多尺度目标跟随算法时间效率过低的问题，提出两种改进策略：基于跟踪目标多分辨率分段预处理策略和基于响应判别的多尺度检测策略。跟踪目标多分辨率分段预处理方法采用双阈值分辨率预处理方法，可以有效提高低分辨率图像的跟踪性能。基于响应判别的多尺度检测方法通过响应峰值的判别分类处理，对于目标跟踪较为准确的视频帧不进行多尺度检测，从而节省大量运算时间，也免去了多尺度检测所产生的误差；对于目标跟踪性能不准确的视频帧，性能降低有可能是因为尺度变化引起的，因此，对这些视频帧的跟踪结果进行多尺度检测，从而修正结果提高跟踪性能。所以说，本发明充分利用跟踪结果的反馈信息进行分类处理，本发明的方法不但能够有效地提高跟踪速度，实现实时目标跟踪，而且跟踪性能也有显著提升。
本发明另一实施例公开了一种基于响应判别的多尺度相关滤波目标跟踪装置，如图2所示，适用于视频图像中的第t帧图像，t≥2，包括：
第一确定模块110，用于确定当前帧图像的初始目标位置及初始目标尺寸；第二确定模块120，用于根据初始目标尺寸确定跟踪窗口尺寸；提取模块130，用于基于初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；检测模块140，用于对采样图像块进行目标检测，获取该采样图像块对应的响应图，提取响应图的最大响应峰值作为第一最大响应峰值；第三确定模块150，响应于第一最大响应峰值大于等于第一阈值，根据第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
在本发明实施例中，该装置还包括：
缩放模块，用于响应于第一最大响应峰值小于第一阈值，根据目标缩放尺度池对采样图像块进行缩放，得到多个不同尺寸的样本图像块；调整模块，调整缩放后的多个样本图像块至预定大小，对调整后的多个样本图像块进行目标检测，获得多个样本图像块对应的响应图，提取多个样本图像块对应的响应图的最大响应峰值，作为第二最大响应峰值；第四确定模块，用于根据第二最大响应峰值和第一最大响应峰值的最大值确定第三最大响应峰值；第五确定模块，用于根据第三最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明另一实施例公开了一种基于响应判别的多尺度相关滤波目标跟踪设备2，如图3所示，包括存储器21、处理器22以及存储在存储器中并可在处理器上运行的计算机程序23，处理器22执行计算机程序23时实现上述任一项的一种基于响应判别的多尺度相关滤波目标跟踪方法。
本发明另一实施例公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任一项的一种基于响应判别的多尺度相关滤波目标跟踪方法。
本发明另一实施例提供了一种计算机程序产品，当计算机程序产品在装置/设备上运行时，使得装置/设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
验证实施例：
本发明实验在Intel i7-6700 3.40GHz的32GB CPU上采用MATLAB 2017软件编程实现。
图4、图5和图6分别显示了OTB100数据库中100个视频、OTB50数据库50个视频、UAV123数据库123个视频的平均DP精确度和AUC成功率曲线图。从实验结果可以看出，改进的RDMSCF算法都要优于KCF、SAMF、SAMF_CA、SRDCF、BACF、DSST、fDSST***。可以看出改进RDMSCF算法的DP精确度和AUC得分好于SAMF_CA算法，明显优于KCF、SAMF、DSST、fDSST和KCF***。对于OTB100数据库改进RDMSCF算法的DP准确率平均得分比SAMF、fDSST、DSST、KCF分别高了4.4％、7.1％、10.1％和10％；AUC准确率平均得分分别高了2.7％、2.5％、5.7％和10.3％。
此外对这三个数据库测试的跟踪时间结果也表明改进RDMSCF算法最主要的优势在于跟踪时间效率上有了明显地提高，其跟踪速度明显优于SAMF_CA算法和SAMF算法。表1列出的基于OTB100数据库不同目标跟踪算法的运算效率对比结果，其中本发明的跟踪方法的速度是SAMF_CA算法的1.93倍，SAMF算法的1.65倍，从而可以满足实时跟踪的性能。
表1基于OTB100数据库不同目标跟踪算法的运算效率对比结果
图7给出OTB100数据库中的“Couple”视频基于不同***的定性比较结果。“Couple”视频图像具有尺度变换(SV)、形变(DEF)、快速运动(FM)、平面外旋转(OPR)、背景杂乱(BC)属性。
在该视频中，穿白色上衣的人为跟踪目标，从各帧跟踪结果可以看出，SAMF、fDSST和KCF算法均跟丢了目标，出现跟踪框漂移的情况。本发明方法(即改进RDMSCF算法)除了115帧跟踪目标覆盖率不够完整外，其余各帧都能准确并完整地跟踪到目标，通过上述实验结果表明，本发明目标跟踪方法的跟踪性能明显优于其余***。
Claims (10)
1.一种基于响应判别的多尺度相关滤波目标跟踪方法，其特征在于，适用于视频图像中的第t帧图像，t≥2，包括以下步骤：
确定当前帧图像的初始目标位置及初始目标尺寸；
根据初始目标尺寸确定跟踪窗口尺寸；
基于所述初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；
对所述采样图像块进行目标检测，获取该采样图像块对应的响应图，提取所述响应图的最大响应峰值作为第一最大响应峰值；
响应于所述第一最大响应峰值大于等于第一阈值，根据所述第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
2.如权利要求1所述的一种基于响应判别的多尺度相关滤波目标跟踪方法，其特征在于，该方法还包括：
响应于所述第一最大响应峰值小于所述第一阈值，根据目标缩放尺度池对所述采样图像块进行缩放，得到多个不同尺寸的样本图像块；
调整缩放后的多个样本图像块至预定大小，对调整后的多个样本图像块进行目标检测，获得多个样本图像块对应的响应图，提取多个样本图像块对应的响应图的最大响应峰值，作为第二最大响应峰值；
根据所述第二最大响应峰值和所述第一最大响应峰值的最大值确定第三最大响应峰值；
根据所述第三最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
3.如权利要求2所述的一种基于响应判别的多尺度相关滤波目标跟踪方法，其特征在于，根据初始目标尺寸确定跟踪窗口尺寸包括：
当初始目标尺寸大于等于第二阈值，缩小所述初始目标尺寸至
确定跟踪窗口尺寸
其中，M、N分别为初始目标尺寸的长度和宽度；
当初始目标尺寸小于等于第三阈值，放大所述初始目标尺寸至2M×2N，确定跟踪窗口尺寸(3*2M)×(3*2N)；
当初始目标尺寸大于第三阈值、且小于第二阈值时，确定跟踪窗口尺寸
其中，所述第二阈值大于第三阈值。
4.如权利要求2所述的一种基于响应判别的多尺度相关滤波目标跟踪方法，其特征在于，获取该采样图像块对应的响应图包括：
其中，f(z)为采样图像块对应的响应图，F-1(·)为傅里叶逆变换，kxz为x和z在傅里叶域中的核互相关函数，x为前一帧图像的采样图像块中多维特征集合更新值的时域信号，z为当前帧图像选取的采样图像块的多维特征集合，⊙为点积运算，
为进行目标检测时滤波器系数的傅里叶系数。
5.如权利要求1所述的一种基于响应判别的多尺度相关滤波目标跟踪方法，其特征在于，确定当前帧图像的初始目标位置及初始目标尺寸包括：
获取前一帧图像中的最终目标位置和最终目标尺寸，并将其作为当前帧图像的初始目标位置和初始目标尺寸。
6.如权利要求4所述的一种基于响应判别的多尺度相关滤波目标跟踪方法，其特征在于，前一帧图像的采样图像块中多维特征集合更新值的获取方法为：
其中，
为第t帧图像的采样图像块中多维特征集合更新值，η为目标跟踪时滤波器的学习率参数，
为第t-1帧的初始目标尺寸对应的采样图像块中的多维特征集合，
为t-1帧的最终目标尺寸对应的采样图像块中多维特征集合。
7.一种基于响应判别的多尺度相关滤波目标跟踪装置，其特征在于，适用于视频图像中的第t帧图像，t≥2，包括：
第一确定模块，用于确定当前帧图像的初始目标位置及初始目标尺寸；
第二确定模块，用于根据初始目标尺寸确定跟踪窗口尺寸；
提取模块，用于基于所述初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；
检测模块，用于对所述采样图像块进行目标检测，获取该采样图像块对应的响应图，提取所述响应图的最大响应峰值作为第一最大响应峰值；
第三确定模块，响应于所述第一最大响应峰值大于等于第一阈值，根据所述第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
8.如权利要求7所述的一种基于响应判别的多尺度相关滤波目标跟踪装置，其特征在于，该装置还包括：
缩放模块，用于响应于所述第一最大响应峰值小于所述第一阈值，根据目标缩放尺度池对所述采样图像块进行缩放，得到多个不同尺寸的样本图像块；
调整模块，调整缩放后的多个样本图像块至预定大小，对调整后的多个样本图像块进行目标检测，获得多个样本图像块对应的响应图，提取多个样本图像块对应的响应图的最大响应峰值，作为第二最大响应峰值；
第四确定模块，用于根据所述第二最大响应峰值和所述第一最大响应峰值的最大值确定第三最大响应峰值；
第五确定模块，用于根据所述第三最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸。
9.一种基于响应判别的多尺度相关滤波目标跟踪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的一种基于响应判别的多尺度相关滤波目标跟踪方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种基于响应判别的多尺度相关滤波目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010604817.5A CN111754548B (zh) | 2020-06-29 | 2020-06-29 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010604817.5A CN111754548B (zh) | 2020-06-29 | 2020-06-29 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754548A true CN111754548A (zh) | 2020-10-09 |
| CN111754548B CN111754548B (zh) | 2023-10-03 |
Family
ID=72677969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010604817.5A Active CN111754548B (zh) | 2020-06-29 | 2020-06-29 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754548B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750146A (zh) * | 2020-12-31 | 2021-05-04 | 浙江大华技术股份有限公司 | 目标对象跟踪方法和装置、存储介质及电子设备 |
| CN113269043A (zh) * | 2021-04-27 | 2021-08-17 | 辽宁科技大学 | 一种钢卷松卷的实时跟踪识别方法及装置 |
| CN113689466A (zh) * | 2021-07-30 | 2021-11-23 | 稿定（厦门）科技有限公司 | 一种基于特征点的平面跟踪方法、*** |
| CN114708307A (zh) * | 2022-05-17 | 2022-07-05 | 北京航天晨信科技有限责任公司 | 基于相关滤波器的目标跟踪方法、***、存储介质及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846851A (zh) * | 2018-04-25 | 2018-11-20 | 河北工业职业技术学院 | 运动目标跟踪方法及终端设备 |
| CN109598684A (zh) * | 2018-11-21 | 2019-04-09 | 华南理工大学 | 结合孪生网络的相关滤波跟踪方法 |
| WO2019085377A1 (zh) * | 2017-11-03 | 2019-05-09 | 北京深鉴智能科技有限公司 | 目标跟踪硬件实现***和方法 |
| CN110246155A (zh) * | 2019-05-17 | 2019-09-17 | 华中科技大学 | 一种基于模型交替的抗遮挡目标跟踪方法及*** |
-
2020
- 2020-06-29 CN CN202010604817.5A patent/CN111754548B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019085377A1 (zh) * | 2017-11-03 | 2019-05-09 | 北京深鉴智能科技有限公司 | 目标跟踪硬件实现***和方法 |
| CN108846851A (zh) * | 2018-04-25 | 2018-11-20 | 河北工业职业技术学院 | 运动目标跟踪方法及终端设备 |
| CN109598684A (zh) * | 2018-11-21 | 2019-04-09 | 华南理工大学 | 结合孪生网络的相关滤波跟踪方法 |
| CN110246155A (zh) * | 2019-05-17 | 2019-09-17 | 华中科技大学 | 一种基于模型交替的抗遮挡目标跟踪方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 熊凌;赵梦萍;陈洋;: "基于多峰检测与图像相似度的抗遮挡跟踪算法", 电视技术, no. 06 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750146A (zh) * | 2020-12-31 | 2021-05-04 | 浙江大华技术股份有限公司 | 目标对象跟踪方法和装置、存储介质及电子设备 |
| CN112750146B (zh) * | 2020-12-31 | 2023-09-12 | 浙江大华技术股份有限公司 | 目标对象跟踪方法和装置、存储介质及电子设备 |
| CN113269043A (zh) * | 2021-04-27 | 2021-08-17 | 辽宁科技大学 | 一种钢卷松卷的实时跟踪识别方法及装置 |
| CN113269043B (zh) * | 2021-04-27 | 2023-08-18 | 辽宁科技大学 | 一种钢卷松卷的实时跟踪识别方法及装置 |
| CN113689466A (zh) * | 2021-07-30 | 2021-11-23 | 稿定（厦门）科技有限公司 | 一种基于特征点的平面跟踪方法、*** |
| CN113689466B (zh) * | 2021-07-30 | 2022-07-12 | 稿定（厦门）科技有限公司 | 一种基于特征点的平面跟踪方法、*** |
| CN114708307A (zh) * | 2022-05-17 | 2022-07-05 | 北京航天晨信科技有限责任公司 | 基于相关滤波器的目标跟踪方法、***、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754548B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754548A (zh) | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 | |
| CN108665481B (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
| CN107169994B (zh) | 基于多特征融合的相关滤波跟踪方法 | |
| CN108647694B (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
| CN107316316A (zh) | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 | |
| US20030108220A1 (en) | Robust, on-line, view-based appearance models for visual motion analysis and visual tracking | |
| CN109993775B (zh) | 基于特征补偿的单目标跟踪方法 | |
| CN109461172A (zh) | 人工与深度特征联合的相关滤波视频自适应跟踪方法 | |
| CN109711332B (zh) | 一种基于回归算法的人脸跟踪方法及应用 | |
| CN110472577B (zh) | 一种基于自适应相关滤波的长时视频跟踪方法 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及*** | |
| CN107368802B (zh) | 基于kcf和人脑记忆机制的运动目标跟踪方法 | |
| CN110008844A (zh) | 一种融合slic算法的kcf长期手势跟踪方法 | |
| CN113888586A (zh) | 一种基于相关滤波的目标跟踪方法及装置 | |
| CN110276782B (zh) | 一种结合空谱特征和相关滤波的高光谱目标跟踪方法 | |
| Shu et al. | Multi-feature fusion target re-location tracking based on correlation filters | |
| CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
| CN110751670B (zh) | 一种基于融合的目标跟踪方法 | |
| CN114998628A (zh) | 基于模板匹配的孪生网络长时目标跟踪方法 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN110827319B (zh) | 一种基于局部敏感直方图改进的Staple目标跟踪方法 | |
| CN107590820B (zh) | 一种基于相关滤波的视频对象追踪方法及其智能装置 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN112767450A (zh) | 一种基于多损失学习的相关滤波目标跟踪方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |