CN1825959A - 一种基于自适应多步搜索的图像跟踪算法 - Google Patents

Abstract

本发明为一种基于自适应多步搜索算法的图像跟踪算法。本发明通过预测当前帧中目标可能的偏移量，动态地调整多步搜索算法的搜索范围。本发明的图像跟踪算法能够使得当目标的速度较大时，搜索范围能够覆盖目标可能出现的区域，不至于丢失目标；而当目标的速度较小时，搜索范围适当减小，以降低计算量，且减小陷入局部极值点的可能。实验证明，无论是在目标高速或低速运动情况下，本发明都具有较好的跟踪效果与较低的计算量。

Description

一种基于自适应多步搜索的图像跟踪算法

技术领域

本发明属于计算机视觉与模式分析技术领域，具体涉及一种基于自适应多步搜索的图像跟踪算法。

背景技术

图像跟踪***能够在一系列视频图像帧中识别并定位特定的目标，被广泛应用于机器人技术、制导技术、自动监视等大量领域中。

图像跟踪***最为常用的算法是基于块匹配的搜索算法(Block Matching Algorithm，BMA)[1][2]。该算法针对被跟踪目标建立模板，并在当前图像帧中寻找与模板具有最佳匹配的区域，作为当前帧中目标位置的估计，即

$x_{\mathrm{tgt}}=\underset{x\∈\mathrm{\Ω}}{\arg \max }\mathrm{sim}\left(x\right)---\left(1\right)$

其中x为候选区域的中心坐标；Ω为图像帧的坐标集合；sim(·)为位于某一坐标处的区域与模板之间的匹配程度函数，该区域与模板越匹配，函数值就越大；x_tgt为当前帧中目标位置的估计。

由于一般而言视频的帧率都较高(20～30fps)，目标在相邻两帧中的位置不会离得很远，因此为了减少计算量，对每一帧中目标的搜索都是在一个以上一帧中目标的位置为中心的某个邻域上进行的。即使是这样，如果搜索该邻域上的每一个点，计算量仍然十分巨大。例如搜索一个15×15的领域，需要进行255次匹配运算，这给实现实时跟踪造成了很大的困难。

在视频压缩领域的运动估计中，也遇到了类似的问题。为了在基本不影响搜索质量的前提下大幅度降低计算量，许多快速搜索算法被提了出来[3]。其中应用最为广泛的算法之一是三步搜索算法(Three Step Search，TSS)[3]。TSS算法的具体搜寻模式如图1所示。TSS算法的第一步以目标在前一帧中的位置为中心，计算中心点及其周围间隔为4像素距离的八个点的目标匹配程度；TSS算法的第二步以在第一步的九个点中匹配程度最高的那个点为中心，计算其周围间隔为2像素距离的八个点的目标匹配程度；TSS算法的第三步以在第二步所涉及的所有点中匹配程度最高的那个点为中心，计算其周围紧邻的八个点的目标匹配程度，第三步所涉及的所有点中匹配程度最高的那个点就认为是目标所在点。对于一个15×15的领域，TSS算法只需要进行25次匹配运算，节省了88.9％的计算量，而搜索质量下降很小。

然而，TSS算法是针对视频压缩的运动估计提出的。在视频压缩的运动估计中，并不需要精确地跟踪定位运动目标，因此固定的搜索范围(TSS算法为15×15)是可以接受的。然而，在图像跟踪中，目标的运动速度的变化可以非常大。当目标速度较大时，目标处于两帧的位置间隔可能超过15个像素，超过TSS算法的搜索范围；当目标速度很小时，如果背景较为复杂，TSS算法的搜索范围又过大，进行了许多不必要的匹配运算，并且有可能使得搜索陷入局部极值点。以上两种情况均会导致目标的丢失。

本发明提出了一种自适应多步搜索算法(Adaptive Multi-step Search，AMS)，根据目标的运动速度动态地调整搜索范围。实验证明，AMS与TSS相比，无论是在目标高速或低速运动情况下，都具有较好的跟踪效果与较低的计算量。

参考文献

[1]C.Smith，C.Richards，S.Brandt，and N.Papanikolopoulos，“Visual tracking forintelligent vehicle-highway systems”，in IEEE Trans.on Vehicle Technology，1996.

[2]T.Kaneko，and O.Hori，“Template update criterion for template matching of imagesequences”，in Proceedings of 16th International Conference on Pattern Recognition，vol.2，pages 1-5，2002.

[3]Y.Wang，J.Ostermann，Y.Q.Zhang，“Video Processing and Communications”，pages159-161，Prentice Hall，2002.

发明内容

本发明的目的在于提出一种能够在目标速度较大时不会跟不上目标，在目标速度较小时大大节省计算量并增加跟踪稳定性的基于自适应多步搜索算法(AMS)的图像跟踪算法。

本发明提出的基于自适应多步搜索算法的图像跟踪算法，其步骤如下：当被跟踪目标的速度较大时，相应增大搜索范围，以保证其覆盖目标可能出现的区域；当被跟踪目标的速度较小时，则应该减小搜索范围，以减小计算量，同时降低搜索陷入局部极值的情况。具体来说，根据当前帧目标可能偏移量的预测值确定基于三步搜索算法(Three Step Search，TSS)[1]的自适应多步搜索算法的搜索范围。

本发明可通过改变第一步搜索点间距与搜索步数调节自适应多步搜索算法的搜索范围。

1、目标速度的估计

在图像跟踪中，目标的速度可以任意变化，但是由于一般视频的帧率较高，相邻帧的时间间隔很短(仅为1/30～1/20s)，因此可以近似用匀速运动模型来预测目标在当前帧的速度。记目标在第n帧中的位置为x(n)＝[x_h(n)，x_v(v)]^T，其中x_h(n)与x_v(n)分别为目标在第n帧中位置的横坐标与纵坐标。则目标在第n帧的速度近似为

$v\left(n\right)\≈\frac{x\left(n\right)-x(n-1)}{\mathrm{\Δt}}---\left(2\right)$

其中Δt为相邻帧的时间间隔，v(n)＝[v_h(n)，v_v(n)]^T是由水平方向的速度与垂直方向的速度组成的速度向量。

设当前帧为第c帧，则当前帧与前一帧的速度分别近似为

$v\left(c\right)\≈\frac{x\left(c\right)-x(c-1)}{\mathrm{\Δt}}---\left(3\right)$

$v(c-1)\≈\frac{x(c-1)-x(c-2)}{\mathrm{\Δt}}---\left(4\right)$

由匀加速的假设，当前帧的速度与前一帧的速度相等，即

                                 v(c)＝v(c-1)                               (5)

将(3)、(4)式代入(5)式可得

                        x(c)-x(c-1)＝Δx(c)≈x(c-1)-x(c-2)                  (6)

其中Δx(c)为当前帧中目标可能的偏离搜索起始点的位移向量。Δx(c)的幅值

$d\left(c\right)=\sqrt{{(x_h(c-1)-x_h(c-2))}^2+{(x_v(c-1)-x_v(c-2))}^2}---\left(7\right)$

即可作为确定搜索范围的依据。

2、自适应多步搜索算法(Adaptive Multi-step Search，AMS)

在得到了当前帧中目标可能的偏移量后，就可以设定在当前帧中搜索范围的大小。搜索范围以适当超过目标的可能偏移大小为宜，这样既能够覆盖目标可能到达的位置，又不会造成搜索范围过大。

AMS算法的搜索模式与TSS算法类似，但是可以动态调整搜索范围。要调整AMS算法的搜索范围，可以改变第一步搜索点的间距，同时搜索的步数也相应改变。由于每一步的搜索点间隔距离都减半，且最后一步的搜索点间隔为1个像素距离，因此第一步的搜索点间隔距离s₁与搜索步数N之间的关系为

                               s₁＝2^N-1                                     (8)

AMS搜索范围定义为AMS所能搜索到的点离开搜索中心的最远距离，即

$R\left(N\right)=\underset{p\∈B_N}{\max }\left|\right|p-p_c\left|\right|---\left(9\right)$

其中p为搜索点，p_c为搜索中心，B_N为搜索步数为N步时所有搜索点的集合，R(N)为对应于N步搜索的搜索范围。

由每一步搜索点的间隔都减半可知，AMS的搜索范围可以表达为

$R\left(N\right)=s_1+\frac{1}{2}{s}_1+\frac{1}{2^2}{s}_1+\·\·\·+\frac{1}{2^{N-1}}{s}_1=(2-\frac{1}{2^{N-1}})s_1---\left(10\right)$

将(8)式代入上式可得搜索范围与搜索步数的关系：

                                   R(N)＝2^N-1                        (11)

根据搜索范围适当超过目标可能偏移量的原则，可以定义搜索范围R、第一步搜索点间距s₁、搜索步数N与目标可能偏移量d之间的关系如下：

          R＝2^N-1，s₁＝2^N-1 当2^N-1-1≤d≤2^N-2，其中N＝2，3，...      (12)

当d＝0时，为了保险起见，搜索步数还是定为2，第一步搜索点间距为2，搜索范围为3。

对于常见的目标可能偏移量，其对应的AMS算法第一步搜索点间距、搜索范围与搜索步数列表如下：

目标可能偏移量	AMS第一步搜索点间距	AMS搜索范围	AMS搜索步数
				0～2	2	3	2
3～6	4	7	3
				7～14	8	15	4
15～30	16	31	5

表1目标可能偏移量、AMS第一步搜索点间距、搜索范围与搜索步数关系表

在实际应用时，可以在得到了目标可能偏移量后利用查表方式(LUT)得到AMS算法的第一步搜索点间隔、搜索范围与搜索步数，几乎不增加任何计算量。

通过预测目标在当前帧的速度大小并据此动态调整搜索范围，能显著提高跟踪高速目标的效果，并降低跟踪低速目标的计算量。

附图说明

图1：三步搜索算法(TSS)示意图。

图2a：应用AMS算法的视频流1的第17帧截图。

图2b：应用AMS算法的视频流1的第25帧截图。

图2c：应用AMS算法的视频流1的第33帧截图。

图2d：应用AMS算法的视频流1的第36帧截图。

图3：视频流1的目标预测速度与实际速度曲线。

图4：视频流1的AMS算法搜索范围曲线。

图5a：应用TSS算法的视频流1的第17帧截图。

图5b：应用TSS算法的视频流1的第25帧截图。

图5c：应用TSS算法的视频流1的第33帧截图。

图5d：应用TSS算法的视频流1的第36帧截图。

图6a：应用AMS算法的视频流2的第1帧截图。

图6b：应用AMS算法的视频流2的第40帧截图。

图6c：应用AMS算法的视频流2的第90帧截图。

图6d：应用AMS算法的视频流2的第130帧截图。

图7：视频流1的目标预测速度与实际速度曲线。

图8：视频流1的AMS算法搜索范围曲线。

图9a：应用TSS算法的视频流2的第1帧截图。

图9b：应用TSS算法的视频流2的第40帧截图。

图9c：应用TSS算法的视频流2的第90帧截图。

图9d：应用TSS算法的视频流2的第130帧截图。

具体实施方式

下面通过对一些跟踪实例的仿真进一步介绍本发明的实施方式。仿真的平台是Matlab6.5。

1、将本发明应用于跟踪以较高速度运动并不断加速的目标(视频流1)。

视频流1中的跟踪目标是在空中飞行的飞碟。在第一帧中首先选定目标。在第二帧中，由于还没有可供预测的目标运动速度，因此假定搜索范围为15，以保证能够覆盖目标。在接下来的各帧中，根据(7)式预测目标的偏移量，并根据(12)式(或通过查询表1)确定AMS算法的搜索范围。

应用AMS算法的仿真结果如图2a至图2d以及图3、图4所示。其中图2a至图2d分别是跟踪视频的截图(分别为第17、25、33、36帧)，图3是目标预测速度与实际速度曲线，图4是AMS算法搜索范围曲线。

由图2a至图2d可见，无论目标的速度如何变化，基于AMS的图像跟踪算法都取得了理想的跟踪效果。由图3可见，目标速度的预测误差很小，平均预测误差为0.87个像素距离，因此本发明所作的目标在帧间近似作匀速运动的假设是合理的。由图4可见，随着目标速度的增大，AMS的搜索范围也随着增大，保证了搜索范围对目标可能出现位置的覆盖。

作为对比，将AMS算法替换为TSS算法，再次对相同的目标进行跟踪。仿真结果如图5a至图5d所示。由这些图可见，当目标速度增达到一定程度时，超过了TSS算法的搜索范围，因而最终丢失了目标。

2、将本发明应用于跟踪低速运动的目标(视频流2)。

视频流2中的跟踪目标是在地面上缓慢行走的人。跟踪过程中目标选取与AMS搜索范围选择的原则同前例所述。

应用AMS算法的仿真结果如图6a至图6d以及图7、图8所示。其中图6a至图6d分别是跟踪视频的截图(分别为第1、40、90、130帧)，图7是目标预测速度与实际速度曲线，图8是AMS算法搜索范围曲线。

由图7可见，目标的移动速度一直很低，速度预测误差很小，仅为0.77个像素距离。由图8可见，绝大多数的AMS搜索范围都是3。这样小的搜索范围一点也没有影响跟踪效果，这一点可以由图6a至图6d看出。不仅如此，由于搜索范围变小，大大节省了计算量。

作为对比，TSS算法的仿真结果如图9a至图9d所示。尽管其跟踪效果也不错，但是计算量大大上升。AMS算法的匹配操作总数为2335次，而TSS算法的匹配操作总数为3375次，增加了44.5％。

综上，基于AMS算法的图像跟踪算法根据预测的目标偏移量决定搜索范围的大小，与基于TSS算法的图像跟踪算法相比，跟踪高速目标的效果具有明显的提高，且能够最大程度地降低计算量。

Claims (4)

1、一种基于自适应多步搜索算法的图像跟踪算法，其特征在于当被跟踪目标的速度较大时，相应增大搜索范围，以保证其覆盖目标可能出现的区域；当被跟踪目标的速度较小时，则应该减小搜索范围，以减小计算量，同时降低搜索陷入局部极值的情况；并根据当前帧目标可能偏移量的预测值确定基于三步搜索算法的自适应多步搜索算法的搜索范围。

2、根据权利要求1所述的基于自适应多步搜索算法的图像跟踪算法，其特征在于通过改变第一步搜索点间距与搜索步数调节自适应多步搜索算法的搜索范围。

3、根据权利要求2所述的基于自适应多步搜索算法的图像跟踪算法，其特征在于搜索范围R、第一步搜索点间距s_l、搜索步数N与目标可能偏移量d之间的关系如下：

R＝2^N-1，s_l＝2^N-1    当2^N-1-1≤d≤2^N-2，其中N＝2，3，…       (4)

当d＝0时，搜索步数为2，第一步搜索点间距为2，搜索范围为3。

4、根据权利要求3所述的基于自适应多步搜索算法的图像跟踪算法，其特征在于目标可能偏移量、第一步搜索点间距、搜索范围与搜索步数列表如下：   目标可能偏移量  AMS第一步搜索点间距   AMS搜索范围   AMS搜索步数   0～2   2   3   2   3～6   4   7   3   7～14   8   15   4   15～30   16   31   5

Images