CN113160271B - 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 - Google Patents
一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 Download PDFInfo
- Publication number
- CN113160271B CN113160271B CN202110276732.3A CN202110276732A CN113160271B CN 113160271 B CN113160271 B CN 113160271B CN 202110276732 A CN202110276732 A CN 202110276732A CN 113160271 B CN113160271 B CN 113160271B
- Authority
- CN
- China
- Prior art keywords
- tracker
- template
- target
- lrst
- dsst
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001914 filtration Methods 0.000 title claims abstract description 30
- 230000004044 response Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013432 robust analysis Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Discrete Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，将Lp范数引入LRST***，构建***最小化模型Lp‑LRST；利用DSST***估计出目标的位置和尺度，同时计算PSR值来衡量跟踪结果的可信度；若PSR大于或等于设定阈值，则根据DSST***当前帧确定的目标位置和尺度来执行Lp‑LRST***，否则由Lp‑LRST***根据上一帧的目标状态来重新确定目标位置；若PSR大于或等于设定阈值，则更新DSST***的模板，反之，停止更新；当粒子的模板相似度低于设定阈值时，更新Lp‑LRST***的模板，反之，停止更新；将获得的目标位置和尺度传递给下一帧的DSST***；重复直到跟踪结束。本发明提供的方法能够实现提升红外目标跟踪的准确性和鲁棒性。
Description
技术领域
本发明涉及计算机视觉领域，特别是指一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法。
背景技术
红外目标跟踪一直是计算机视觉领域的一个热门研究方向，其在红外目标成像精确指导、红外告警、自动驾驶、人机交互、场景监控等领域都有重要应用。类似于可见目标跟踪算法的原理，红外目标跟踪算法需要确定目标在后续帧中的状态。目前，许多红外目标跟踪算法都源自于可见目标跟踪算法。然而，与可见目标图像相比，红外目标图像具有分辨率低、SNR(Signal-to-Noe Ratio)低、缺乏有效的颜色、形状与纹理信息等缺陷，这使得红外目标跟踪更具有挑战性。对于红外目标，仅采用单一的***通常无法获得鲁棒的跟踪效果。
基于相关滤波器的跟踪算法通过计算滤波器的最大响应来确定目标的位置。由于该算法引入了傅里叶变换，其运算复杂度低，因此大大提高了计算效率。同时，该算法非常适合红外目标跟踪，因为该算法的跟踪性能不取决于目标的纹理和边缘特征。近年来，基于相关滤波器的跟踪算法作为一种出色的判别算法，在视觉跟踪领域取得了显著成果。
基于粒子滤波的跟踪算法具有结构并行，实用性强等优点，已引起越来越多的关注。另一方面，稀疏表示对目标外观变化和遮挡具有较好的鲁棒性，已经成功应用于目标跟踪领域，同样也可适用于本专利的红外目标跟踪算法中。
目前，基于粒子滤波和稀疏表示的跟踪算法的性能主要受粒子数量，仿射变换参数，跟踪模型和模板更新机制的影响。具体细节如下：(1)对于粒子数量，粒子数量越多，算法的跟踪结果越准确，但是算法花费的时间越多；(2)对于仿射变换参数，它们与粒子的分布范围和跟踪框的状态有关，合适的仿射变换参数可以提高跟踪精度；(3)对于跟踪模型，其关系着稀疏系数的计算精度，在一定程度上决定了跟踪算法的准确性和鲁棒性；(4)对于模板更新机制，如何以及何时更新模板对***都是非常关键的，它决定了跟踪结果的稳定性。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种本发明要解决的技术问题，在于提供一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，以实现提升红外目标跟踪的准确性和鲁棒性。
本发明是这样实现的：一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，包括如下步骤：
步骤S10、将Lp范数引入LRST***，构建***最小化模型Lp-LRST；
步骤S20、利用DSST***估计出目标的位置和尺度，同时计算PSR值来衡量跟踪结果的可信度；
步骤S30、若PSR大于或等于设定阈值，则根据DSST***当前帧确定的目标位置和尺度来执行Lp-LRST***，否则由Lp-LRST***根据上一帧的目标状态来重新确定目标位置；
步骤S40、若PSR大于或等于设定阈值，则更新DSST***的模板，反之，停止更新；
步骤S50、当粒子的模板相似度低于设定阈值时，更新Lp-LRST***的模板，反之，停止更新；
步骤S60、将获得的目标位置和尺度传递给下一帧的DSST***；
步骤S70、重复步骤S20到S60直到跟踪结束。
具体地：所述步骤S10具体包括：
将Lp范数引入LRST***中，构建***最小化模型Lp-LRST，具体为：
such that Y＝AZ+E
其中，Y表示粒子；A表示正模板；E是由于噪声和遮挡引起的稀疏误差项；λ1，λ2，λ3是不同项之间的权重系数；[Z]ij表示Z的第i行第j列；
引入两个等式约束和松弛变量：
引入增广拉格朗日乘子法将等式约束合并到目标函数中，得到无约束的拉格朗日函数：
其中，tr(X)为矩阵X的迹，M1,M2,M3为拉格朗日乘子，μ1＝μ2＝μ3＞0为惩罚参数；对上式进行最小化得到：
采用非确定增广拉格朗日乘子法迭代求解，每次迭代更新一个变量而其他变量保持固定不变，交替迭代求解各个变量，直到目标函数或者解Z满足收敛条件时结束。
具体地：所述步骤S20具体为：
步骤S21、使用DSST***估计目标的位置和尺度，某一帧图像块z具有d维特征，相关滤波器h通过最小化如下代价函数得到：
其中，圆形表示圆形相关性；f表示从特征图z中提取的目标矩形区域；fl表示为f的第l维特征，其中l∈{1,...,d}；g是与训练示例f关联的期望相关输出；参数λ≥0用于控制正则项的影响；上式可在频率域求解得到：
其中，Hl，G,F分别为hl，g，f的离散傅里叶变换，分别表示为对应的共轭复数；代表分子/>代表分母/>下标t代表帧数；Hl的更新分别对应：
其中η表示学习率；对于下一帧图像块z，目标的位置通过最大响应值确定，对应的滤波器响应值R(x)为：
其中，f-1为离散傅里叶逆变换，B为
DSST***的尺度估计方法通过位置滤波器来获得最大响应的位置，再根据前一帧的目标尺寸获取一系列的多尺度图像块l*h表示前一帧目标的尺度，S表示尺度滤波器的大小，图像块/>的大小为αjl×αjh，其中α＝1.02为尺度因子，/>S＝33为尺度总级；
步骤S22、采用下式计算PSR的值：
其中，R(x)为得到的响应，max(R(x))得到最大的响应值，max(R(x))c×γ为峰值周围的c×γ区域，μφ(max(R(x))c×γ)和σφ(max(R(x))c×γ)分别是峰值周围c×γ区域内的均值和标准差；PSR的值越大说明DSST的跟踪结果越可靠。
具体地：所述步骤S30具体为：
如果PSR的值大于设定阈值u，则将DSST估计的目标状态(尺度scaleDSST和位置posDSST)传递给Lp-LRST***，Lp-LRST***根据仿射变化参数aff1来投放n1个粒子，同时求解得到更为精确的目标位置和尺度/>通过如下公式得到最终的目标位置postarget和尺度scaletarget：
如果可信度小于设定阈值，此时，Lp-LRST***根据上一帧的目标状态和变化仿射参数aff2(aff2≥aff1)来投放n2(n2＞n1)个粒子，同时求解得到更为精确的目标位置和尺度/>通过如下公式获得最终的目标位置postarget和尺度scaletarget：
具体地：所述步骤S40具体为：
如果PSR小于设定阈值，不更新DSST***的模板。
如果PSR大于或等于设定阈值，则更新DSST***的模板，且更新过程由如下两式来确定：
具体地：所述步骤S50具体为：
当粒子的模板相似度高于设定阈值时，停止更新Lp-LRST***的模板；
当粒子的模板相似度低于设定阈值时，更新Lp-LRST***的模板；
判断粒子的模板相似度低原因；
若是由于模板长期没有更新，则更新Lp-LRST***的模板并同时更新模板的权重，用当前模板相似度最高的粒子替换权重最低的模板，并将新的模板权重设置为一个新的常数
若是由于目标发生遮挡，则判断上一次的模板更新是否由于模板长期没有更新而引起，若是，则用当前模板相似度最高的粒子替换权重最低的模板，同时将新的模板的权重设置成否则用当前模板相似度最高的粒子替换上次更新的模板，同时将新的模板的权重设置成/>
进一步地，所述步骤S60具体为：
将在当前帧确定的最终目标位置和尺度大小传递给下一帧的DSST***。
进一步地，所述步骤S70具体为：
重复步骤S20到S60直到跟踪结束。
本发明的有益效果：
将Lp范数引入LRST模型中，提出了一种基于Lp范数的低秩稀疏***，即Lp-LRST***；接着，通过基于相关滤波的***得到目标的粗略位置，而精确的目标位置由基于粒子滤波的***确定；最后针对这两种***采用了不同的模板更新策略，不仅获得了比主流红外目标***更优的准确性和鲁棒性，而且有效地解决红外目标快速移动、部分遮挡、大小变化的问题。
附图说明
图1是本发明一种高精度的红外目标跟踪方法的流程图；
图2是本发明方法跟踪过程的示意图；
图3(a)-图3(b)是本发明使用20个红外序列来比较不同***获得的精确度和成功率；
图4(a)-图4(e)是本发明中每个***在不同挑战序列的单次评估精确度的AUC结果；
图5(a)-图5(e)是本发明中每个***在不同挑战序列的单次评估成功率的AUC结果；
图6是不同***对应的跟踪结果；
图7是在摄像机运动挑战下不同***对应的跟踪结果；
图8是在遇到尺度挑战下不同***对应的跟踪结果。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本申请实施例中的技术方案，总体思路如下：
首先，为了进一步提升基于低秩的稀疏表示跟踪模型(LRST)的性能，引入Lp范数，提出了一种新的***最小化模型(Lp-LRST)；使用DSST***来粗略估计目标的位置和尺度，并计算对应的PSR值，用以衡量DSST在当前帧估计的跟踪结果的可信度；接着，判断PSR的值与设定阈值的大小关系，若PSR大于或等于设定阈值，则根据DSST当前帧确定的目标位置和尺度来执行Lp-LRST***，否则由Lp-LRST***根据上一帧的目标状态重新确定目标位置；接着，对于DSST***，若PSR大于或等于设定阈值，则更新其模板，反之，停止更新；接着，对于Lp-LRST，当粒子的模板相似度低于设定阈值时，更新其模板，反之，停止更新；最后将在当前帧确定的最终目标位置和尺度传递给下一帧的DSST***，并重复上述步骤直到跟踪结束。
请参照图1至图6所示，本发明一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法的较佳实施例，如图1，为本发明一种高精度的红外目标跟踪方法的流程图，具体包括如下步骤：
步骤S10、将Lp范数引入LRST模型(基于低秩的稀疏表示***)，构建一种新的***最小化模型，即Lp-LRST(基于Lp范数的低秩稀疏***)；
所述步骤S10具体包括：
将Lp范数引入LRST***中，提出了一种新的***最小化模型，即Lp-LRST模型：
such that Y＝AZ+E
其中，Y表示粒子；A表示正模板；E是由于噪声和遮挡引起的稀疏误差项；λ1，λ2，λ3是不同项之间的权重系数；[Z]ij表示Z的第i行第j列。
为了解决这个复杂的目标函数，分别引入两个约束等式和松弛变量：
然后，引入增广拉格朗日乘子法将约束等式合并到目标函数中，得到无约束的拉格朗日函数：
其中，tr(X)为矩阵X的迹，M1,M2,M3为拉格朗日乘子，μ1＝μ2＝μ3＞0为惩罚参数。对上式进行最小化得到：
上式可采用非确定增广拉格朗日乘子法迭代求解，每次迭代更新一个变量而其他变量保持固定不变，然后交替迭代求解各个变量，直到目标函数或者解Z满足收敛条件时结束。
步骤S20、利用DSST(Discriminative Scale Space Tracker)模型来粗略估计目标的位置和尺度，同时计算PSR(The Peak-to-Sidelobe Ratio，峰值旁瓣比)的值来衡量DSST在当前帧估计的跟踪结果的可信度；
所述步骤S20具体为：
步骤S21、使用DSST***来粗略估计目标的位置和尺度，首先假设某一帧图像块z具有d维特征(HOG特征)，相关滤波器h可以通过最小化如下代价函数得到：
其中，圆形表示圆形相关性；f表示从特征图z中提取的目标矩形区域。fl表示为f的第l维特征，其中l∈{1,...,d}。g是与f关联的期望相关输出。参数λ≥0，用于控制正则项的影响。上式可在频率域求解：
其中，Hl，G,F分别为hl，g，f的离散傅里叶变换，分别表示为对应的共轭复数。代表分子/>代表分母/>下标t代表帧数。为了提高计算效率，Hl的更新分别对应：
其中η表示学习率。对于下一帧图像块z，目标的位置通过最大响应值确定，对应的滤波器响应值R(x)为：
其中，f-1为离散傅里叶逆变换，B为
以上为DSST***的位置估计方法。DSST***的尺度估计方法与其位置估计方法类似，通过位置滤波器来获得最大响应的位置，再根据前一帧的目标尺寸获取一系列的多尺度图像块假设l*h表示前一帧目标的尺度，S表示尺度滤波器的大小，则图像块/>的大小为αjl×αjh，其中α＝1.02为尺度因子，/>S＝33为尺度总级。
步骤S22、为了衡量DSST***跟踪结果的可信度，使用下式
来计算PSR的值，其中，R(x)为得到的响应，max(R(x))得到最大的响应值，max(R(x))c×γ为峰值周围的c×γ区域，从而避免背景区域对PSR的影响；μφ(max(R(x))c×γ)和σφ(max(R(x))c×γ)分别是峰值周围c×γ区域内的均值和标准差。PSR值越大，说明DSST在当前帧的跟踪结果越可靠。
步骤S30、若PSR大于或等于设定阈值，则根据DSST在当前帧确定的目标位置和尺度来执行Lp-LRST***，否则由Lp-LRST***根据上一帧的目标状态来重新确定目标位置；
所述步骤S30具体为：
如果PSR值大于设定阈值u，说明DSST在当前帧得到的跟踪结果可靠性高，则将DSST估计的目标状态(尺度scaleDSST和位置posDSST)传递给Lp-LRST***，Lp-LRST***根据仿射变化参数aff1来投放n1个粒子，同时求解得到更为精确的目标位置和尺度/>然后，通过如下公式得到最终的目标位置和尺度：
如果PSR值小于设定阈值，说明DSST在当前帧得到的跟踪结果可靠性低。此时，Lp-LRST***根据上一帧的目标状态和变化仿射参数aff2(aff2≥aff1)来投放n2(n2＞n1)个粒子，同时求解得到更为精确的目标位置和尺度/>然后，通过如下公式获得最终的目标位置和尺度：
步骤S40、若PSR大于或等于设定阈值，则更新DSST***的模板，反之，停止更新；
所述步骤S40具体为：
如果PSR小于设定阈值，说明DSST在当前帧估计的跟踪结果是不可靠的，则不更新DSST***的模板。
如果PSR大于或等于设定阈值，说明DSST***在当前帧估计的跟踪结果是可靠的，则更新DSST***的模板，且更新过程由如下两式确定：
步骤S50、当粒子的模板相似度低于设定阈值时，更新Lp-LRST***的模板，反之，停止更新；
所述步骤S50具体为：
当粒子具有很高的模板相似度时，停止更新Lp-LRST***的模板。
当粒子的模板相似度较低时，需要更新Lp-LRST***的模板。此时，应先判断粒子的模板相似度低是由于模板长期没有更新而引起，还是由于目标发生遮挡而引起。若是由于模板长期没有更新而引起，则更新Lp-LRST***的模板并同时更新模板的权重，使用当前模板相似度最高的粒子替换权重最低的模板，并将新的模板权重设置为一个新的常数若是由于目标发生遮挡而引起，则判断上一次的模板更新是否由于模板长期没有更新而引起，若是，则使用当前模板相似度最高的粒子替换权重最低的模板，同时将新的模板的权重设置成/>否则用当前模板相似度最高的粒子替换上次更新的模板，同时将新的模板的权重设置成/>
由于未被遮挡的模板更加可靠，因此将未遮挡的模板权重设为较大，而将被遮挡的模板权重/>和/>设置较小。如此这样，当目标未被遮挡时，包含遮挡信息的模板容易被替换。
步骤S60、将确定的最终目标位置和尺度传递给下一帧的DSST***；
所述步骤S60具体为：
将在当前帧确定的最终目标位置和尺度大小传递给下一帧的DSST***。
步骤S70、重复步骤S20到S60直到跟踪结束。
所述步骤S70具体为：
重复步骤S20到S60直到跟踪结束。
如图2为本发明方法跟踪过程的示意图。
仿真实验：
通过与9种主流***的比较来验证提出的***的有效性：SCM，L1-AGP，STC，MTT，CT，DFT，DSST，KCF，DCFNet作为比较，并选择了20种不同的具有挑战性的基准红外视频序列进行测试。
实验中所涉及的参数设置如下，PSR的阈值u＝1.72，步骤S30中位置权重wpos＝0.2，尺度权重wscale＝0.2，Lp-LRST模板大小为12×15，仿射变换参数为aff1＝{0.03,0.0005,0.0005,0.03,0.8,0.8}，仿射变换参数aff2＝{0.05,0.001,0.001,0.05,3,3}，粒子数n1＝250,n2＝450。提出的***最小化模型中，p＝0.5，λ1＝5，λ2＝0.1，λ3＝0.5。在Lp-LRST模板更新的过程中，目标模板的数量T＝10，模板权重 τ＝40,binThres＝0.03,thresholdArea＝0.25×12×15。
为了衡量不同***的性能，采用精确度(Precision)和成功率(OverlapSuccess,OS)作为客观评价指标。DP定义为中心位置误差(CLE)在20像素阈值内的帧的百分比。OS定义为边界框重叠超过阈值0.5的帧的百分比。CLE定义为其中(xp,yp)为***估计的中心位置，(xg,yg)为目标真实的中心位置，CLE的值越小说明误差越小，对应***的性能越好。重叠率(SR,Success Rate)，定义为/>其中，Sgt、Str分别为标准目标框和跟踪得到的目标框。除此之外，按照单次评估(One-PassEvaluation,OPE)可以绘制出精确度曲线(Precision plots of OPE)和成功率曲线(Success plots of OPE)，并将其曲线下面积(Area Under Curve,AUC)值展示在图中。
图3展示了20个红外视频序列对应的精确度图(Precision plots of OPE)，图3(a)和成功率图(Success plots of OPE)图3(b)。从图3中可以看出，Our即本发明方法明显优于其他***。表1说明了提出的***在与其他***对比中的表现出色。就DP和OS而言，提出的***分别比DSST(分别提高22.9％，17.4％)，KCF(分别提高27.6％，25.8％)和DCFNet(分别提高21.6％，16.2％)更好。
表1.在20个红外视频序列上对10个***进行定量比较
注：红色和蓝色数值分别代表最优和次优的评价指标。
为了充分评价提出的***的有效性，我们在VOT-TIR2015视频数据集上选择5个属性来进一步评价不同***的性能。图4和图5给出了每个***的所有AUC结果。
图4示出了每个***在不同挑战序列的单次评估精确度的AUC结果，可以看出，本发明算法在处理大部分挑战性因素方面表现良好，其中包括摄像机运动(图4(a)，精确度为88.1％)、运动变化(图4(c)，精确度为76.5％)、部分遮挡(图4(d)，精确度为84.1％)、大小变化(图4(e)，精确度为74.1％)。而对于动态变化(图4(b)，精确度为71.9％)的表现还不够理想。以上图的横坐标均表示定位误差阈值，纵坐标均表示精确度。
图5示出了每个***在不同挑战序列的单次评估成功率的AUC结果，可以看出，本发明算法在处理大部分挑战性因素方面表现良好，其中包括摄像机运动(图5(a)，成功率为66.3％)、运动变化(图5(c)，成功率为59.8％)、部分遮挡(图5(d)，成功率为65.0％)、大小变化(图5(e)，成功率为58.2％)。而对于动态变化(图5(b)，成功率为57.8％)的表现还不够理想。以上图的横坐标均表示重叠阈值，纵坐标均表示成功率。
鉴于这些红外视频序列的不同特性，我们讨论了上述10个***对3个红外视频序列进行的3组实验，跟踪结果如图6、图7、图8所示。
实验1:部分遮挡的鲁棒分析。
图6显示了在遮挡挑战下，不同***在Street视频序列下的跟踪结果。在该序列中，可以看到有很多人走在街上，一个人被#10(图6(a))、#51(图6(b))和#156(图6(c))周围的另一个人挡住，其中带有符号#的数字代表这些视频的帧数。可以看出，Ours即本发明方法可以很好地跟踪目标。提出的模板更新策略可以避免将背景信息更新到模板中，并且当发生部分遮挡时，可以继续跟踪目标。
实验2:相机移动的鲁棒分析。
图7显示了在摄像机运动挑战下，不同***在Quadrocopter视频序列下的跟踪结果。与前一帧的位置相比，相机的运动往往会导致目标移动更大。在该序列中，目标在#89(图7(a))、#118(图7(b))和#162(图7(c))附近快速飞行。除提出的***以外，大部分***由于快速运动，运动模糊和快速运动而逐渐漂移。提出的***先通过DSST在大范围内搜索目标，再通过Lp-LRST在较小的区域内进一步搜索目标，因此可以实现稳定的目标跟踪，从而提高了整体的跟踪精度。
实验3:尺度变化的鲁棒分析。
图8显示了在遇到尺度变化挑战的情况下，不同***在Jacket视频序列的跟踪结果。在该序列中，由于目标远离相机而变得越来越小，例如#124(图8(a))、#278(图8(b))和#379(图8(c))。由于提出的***结合了DSST的尺度滤波器和Lp-LRST的仿射参数，因此对尺度变化具有较高的鲁棒性。
综上所述，本发明的优点在于：
针对红外图像的特点，我们提出了一种高精度的基于相关滤波和粒子滤波进行红外目标***。首先，将DSST***和Lp-LRST***结合起来，以获得更准确的目标位置和尺度。其次，基于Lp范数的优势，提出了一种基于Lp范数的***最小化模型。最后，提出的模板更新机制有效地解决了目标遮挡问题，并减少了跟踪过程中的漂移问题。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (5)
1.一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，其特征在于：包括如下步骤：
步骤S10、将Lp范数引入LRST***，构建***最小化模型Lp-LRST；
步骤S20、利用DSST***估计出目标的位置和尺度，同时计算PSR值来衡量跟踪结果的可信度；
步骤S30、若PSR大于或等于设定阈值，则根据DSST***当前帧确定的目标位置和尺度来执行Lp-LRST***，否则由Lp-LRST***根据上一帧的目标状态来重新确定目标位置；
步骤S40、若PSR大于或等于设定阈值，则更新DSST***的模板，反之，停止更新；
步骤S50、当粒子的模板相似度低于设定阈值时，更新Lp-LRST***的模板，反之，停止更新；
步骤S60、将获得的目标位置和尺度传递给下一帧的DSST***；
步骤S70、重复步骤S20到S60直到跟踪结束；
所述步骤S10具体包括：
将Lp范数引入LRST***中，构建***最小化模型Lp-LRST，具体为：
such that Y＝AZ+E
其中，Y表示粒子；A表示正模板；E是由于噪声和遮挡引起的稀疏误差项；λ1，λ2，λ3是不同项之间的权重系数；[Z]ij表示Z的第i行第j列；
引入两个等式约束和松弛变量：
引入增广拉格朗日乘子法将等式约束合并到目标函数中，得到无约束的拉格朗日函数：
其中，tr(X)为矩阵X的迹，M1,M2,M3为拉格朗日乘子，μ1＝μ2＝μ3＞0为惩罚参数；对上式进行最小化得到：
采用非确定增广拉格朗日乘子法迭代求解，每次迭代更新一个变量而其他变量保持固定不变，交替迭代求解各个变量，直到目标函数或者解Z满足收敛条件时结束。
2.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，其特征在于：所述步骤S20具体为：
步骤S21、使用DSST***估计目标的位置和尺度，某一帧图像块z具有d维特征，相关滤波器h通过最小化如下代价函数得到：
其中，圆形表示圆形相关性；f表示从特征图z中提取的目标矩形区域；fl表示为f的第l维特征，其中l∈{1,...,d}；g是与训练示例f关联的期望相关输出；参数λ≥0用于控制正则项的影响；上式可在频率域求解得到：
其中，Hl，G,F分别为hl，g，f的离散傅里叶变换，分别表示为对应的共轭复数；/>代表分子/> 代表分母/>下标t代表帧数；Hl的更新分别对应：
其中η表示学习率；对于下一帧图像块z，目标的位置通过最大响应值确定，对应的滤波器响应值R(x)为：
其中，f-1为离散傅里叶逆变换，B为
DSST***的尺度估计方法通过位置滤波器来获得最大响应的位置，再根据前一帧的目标尺寸获取一系列的多尺度图像块l*h表示前一帧目标的尺度，S表示尺度滤波器的大小，图像块/>的大小为αjl×αjh，其中α＝1.02为尺度因子，/>S＝33为尺度总级；
步骤S22、采用下式计算PSR的值：
其中，R(x)为得到的响应，max(R(x))得到最大的响应值，max(R(x))c×γ为峰值周围的c×γ区域，μφ（max(R(x))cxy)和)φ(max(R(x))c×γ)分别是峰值周围c×γ区域内的均值和标准差；PSR的值越大说明DSST的跟踪结果越可靠。
3.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，其特征在于：所述步骤S30具体为：
如果PSR的值大于设定阈值u，则将DSST估计的目标状态传递给Lp-LRST***，所述目标状态包括尺度scaleDSST和位置posDSST，Lp-LRST***根据仿射变化参数aff1来投放n1个粒子，同时求解得到更为精确的目标位置和尺度/>通过如下公式得到最终的目标位置postarget和尺度scaletarget：
如果可信度小于设定阈值，此时，Lp-LRST***根据上一帧的目标状态和变化仿射参数aff2来投放n2个粒子，其中，aff2≥aff1，n2＞n1；同时求解得到更为精确的目标位置和尺度/>通过如下公式获得最终的目标位置postarget和尺度scaletarget：
4.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，其特征在于：所述步骤S40具体为：
如果PSR小于设定阈值，不更新DSST***的模板；
如果PSR大于或等于设定阈值，则更新DSST***的模板，且更新过程由如下两式来确定：
5.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法，其特征在于：所述步骤S50具体为：
当粒子的模板相似度高于设定阈值时，停止更新Lp-LRST***的模板；
当粒子的模板相似度低于设定阈值时，更新Lp-LRST***的模板；
判断粒子的模板相似度低原因；
若是由于模板长期没有更新，则更新Lp-LRST***的模板并同时更新模板的权重，用当前模板相似度最高的粒子替换权重最低的模板，并将新的模板权重设置为一个新的常数
若是由于目标发生遮挡，则判断上一次的模板更新是否由于模板长期没有更新而引起，若是，则用当前模板相似度最高的粒子替换权重最低的模板，同时将新的模板的权重设置成否则用当前模板相似度最高的粒子替换上次更新的模板，同时将新的模板的权重设置成/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110276732.3A CN113160271B (zh) | 2021-03-15 | 2021-03-15 | 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110276732.3A CN113160271B (zh) | 2021-03-15 | 2021-03-15 | 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160271A CN113160271A (zh) | 2021-07-23 |
| CN113160271B true CN113160271B (zh) | 2023-10-31 |
Family
ID=76887496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110276732.3A Active CN113160271B (zh) | 2021-03-15 | 2021-03-15 | 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160271B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641353B (zh) * | 2022-12-22 | 2023-04-07 | 四川轻化工大学 | 一种可见光与红外图像融合跟踪方法和装置、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
| CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
| CN107680120A (zh) * | 2017-09-05 | 2018-02-09 | 南京理工大学 | 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法 |
| CN111583294A (zh) * | 2020-04-22 | 2020-08-25 | 西安工业大学 | 一种结合尺度自适应与模型更新的目标跟踪方法 |
| CN112085765A (zh) * | 2020-09-15 | 2020-12-15 | 浙江理工大学 | 结合粒子滤波及度量学习的视频目标跟踪方法 |
-
2021
- 2021-03-15 CN CN202110276732.3A patent/CN113160271B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
| CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
| CN107680120A (zh) * | 2017-09-05 | 2018-02-09 | 南京理工大学 | 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法 |
| CN111583294A (zh) * | 2020-04-22 | 2020-08-25 | 西安工业大学 | 一种结合尺度自适应与模型更新的目标跟踪方法 |
| CN112085765A (zh) * | 2020-09-15 | 2020-12-15 | 浙江理工大学 | 结合粒子滤波及度量学习的视频目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于多特征和尺度估计的核相关滤波跟踪算法;张伟;温显斌;;天津理工大学学报(03);全文 * |
| 相关滤波目标跟踪算法研究;顾培婷 等;《海峡科学》;全文 * |
| 红外弱小目标检测算法综述;李俊宏 等;《中国图象图形学报》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160271A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
| CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
| CN109741366B (zh) | 一种融合多层卷积特征的相关滤波目标跟踪方法 | |
| CN105139420B (zh) | 一种基于粒子滤波和感知哈希的视频目标跟踪方法 | |
| CN110310310B (zh) | 一种针对航空影像配准的改进方法 | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN111080675A (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN110136177B (zh) | 一种图像配准方法、设备和存储介质 | |
| CN110175649A (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN106338733A (zh) | 基于蛙眼视觉特性的前视声呐目标跟踪方法 | |
| WO2008152208A1 (en) | Image sampling in stochastic model-based computer vision | |
| CN111199245A (zh) | 油菜害虫识别方法 | |
| Yuan et al. | Using local saliency for object tracking with particle filters | |
| CN113449658A (zh) | 基于空域、频域、时域的夜间视频序列显著性检测方法 | |
| CN113160271B (zh) | 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 | |
| CN109685830A (zh) | 目标跟踪方法、装置和设备及计算机存储介质 | |
| Sargin et al. | Variable length open contour tracking using a deformable trellis | |
| CN110232705B (zh) | 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法 | |
| CN110276782B (zh) | 一种结合空谱特征和相关滤波的高光谱目标跟踪方法 | |
| CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
| Xu et al. | Robust tracking via weighted spatio-temporal context learning | |
| CN109886280B (zh) | 一种基于核相关滤波的异源图像目标匹配方法 | |
| CN101976446B (zh) | 一种显微序列图像的多特征点跟踪方法 | |
| CN111145216A (zh) | 一种视频图像目标的跟踪方法 | |
| CN110910425A (zh) | 一种针对抵近飞行过程的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |