CN101610412B - 一种基于多线索融合的视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多线索融合的视觉跟踪方法，属于信息技术领域。本发明方法包括：a)在视频序列的第一帧中确定包括目标区域和背景区域的跟踪窗口；b)自第二帧起，获得前一帧的颜色特征概率分布图，位置特征概率分布图和运动连续性特征概率分布图；c)将所述三种概率分布图加权相加得到总概率分布图；d)在所述总概率分布图中，通过CAMSHIFT算法得到当前帧的跟踪窗口的中心点坐标。本发明方法可用于人机交互、视觉智能监控、智能机器人、虚拟现实技术、基于模型的图像编码，流媒体的内容检索等领域。

Description

一种基于多线索融合的视觉跟踪方法

技术领域

本发明涉及视觉跟踪，尤其涉及一种融合多种线索的视觉跟踪方法，属于信息技术领域。

背景技术

随着信息技术与智能科学的迅速发展，利用计算机实现人类视觉功能的计算机视觉成为目前计算机领域中最热门的研究方向之一。其中视觉跟踪是计算机视觉的核心问题之一，它是在图像序列的每一帧图像中找到感兴趣的运动目标所处的位置。对其进行研究是非常必要的，也是非常紧迫的。

Hong Liu等人于2007年在《Proceedings of the 14th IEEE International Conference onImage Processing(ICIP 2007)》(IEEE第14届图像处理国际会议)上发表论文“Collaborativemean shift tracking based on multi-cue integration and auxiliary objects”(基于多线索融合和辅助物体的协作均值漂移跟踪)，该论文结合了颜色，位置和预测特征线索，根据背景情况动态地更新每个线索的权值，使用Mean Shift技术，利用辅助物实现了视觉跟踪方法。但是，它假设背景模型服从单高斯模型，事先需要对无运动物体的视频序列进行训练，得到背景初始模型，这样限制了它的应用，在线索评价函数中用一个比目标稍大的矩形表示感兴趣区域，在该矩形和跟踪窗口之间的区域定义为背景区域，对于某个线索的可靠性评价函数，背景区域的大小直接影响它的值，即跟踪窗口越大，它的可靠性评价函数值越小，缺乏一般性。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种融合多种线索的视觉跟踪方法，尤其可用于面向人体运动的视觉跟踪，使得让计算机对目标(比如人体)进行视觉自动跟踪时，满足准确性和实时性的要求。

本发明结合视频图像的多个线索(颜色特征、位置特征和运动连续性特征)借助于CAMSHIFT(连续自适应均值漂移，Continuously Adaptive Mean Shift)方法实现视觉跟踪，如图1所示。其中，颜色特征优选采用色调和饱和度特征、红色信道特征、绿色信道特征和蓝色信道特征，对于遮挡和位姿的改变实现了较好的鲁棒性；位置特征利用帧差技术实现；运动连续性特征根据帧间连续性完成。

本发明采用固定不变的跟踪窗口，这样虽然限制了外表改变和遮挡的管理，但它不用考虑会把一些背景相似的区域看作目标的一部分，而且同样可以实现跟踪效果。

本发明通过以下技术方案实现，包括以下步骤：

a)在一段视频序列的第一帧中确定一跟踪窗口，所述跟踪窗口包括目标区域和背景区域，所述目标区域包含被跟踪的对象；优选地，所述跟踪窗口是一矩形，所述矩形等分成三份，中间一份是所述目标区域，两边各一份是所述背景区域，如图2所示。

b)对于自第二帧起的每一帧，获得前一帧的颜色特征概率分布图，位置特征概率分布图和运动连续性特征概率分布图；

c)将所述三种概率分布图加权相加得到总概率分布图；

d)在所述总概率分布图中，通过CAMSHIFT算法得到当前帧的跟踪窗口的中心点坐标。

下面具体描述本发明所涉及的多种线索及线索融合。

颜色特征

所述颜色特征优选包括图像的色调(Hue)和饱和度(Saturation)特征、R(Red)信道特征、G(Green)信道特征和B(Blue)信道特征，对于遮挡和位姿的改变实现了较好的鲁棒性。

设本发明使用m个柄(bin)的直方图，图像有n个像素点，它们的位置和在直方图中相应取值分别是{x_i}_i＝1...n，{q_u}_{u＝1，...，m.}(R信道特征、G信道特征和B信道特征)或{q_u(v)}_{u＝1，...，m；v＝1，...，m.}(色调和饱和度特征)。定义函数b:R²→{1，…，m}，此函数表征每个像素颜色信息对应的离散区间值。直方图中，第c个颜色信息区间对应的值可以表示为式(1)和式(2)或式(1′)和式(2′)：

$q_{u\left(v\right)}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[b\left(x_i\right)-u\left(v\right)]---\left(1\right)$ $p_{u\left(v\right)}=\min (\frac{255}{\max \left(q_{u\left(v\right)}\right)}{q}_{u\left(v\right)},255)---\left(2\right)$

或 $q_u=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[b\left(x_i\right)-u]---\left(1^{\′}\right)$ $p_u=\min (\frac{255}{\max \left(q_u\right)}{q}_u,255)---\left(2^{\′}\right)$

颜色特征概率分布图可通过下列方法建立：

第一，从RGB(Red，Green，Blue)图像中提取出R(Red)、G(Green)和B(Blue)通道，然后将RGB图像转变成HSV(Hue，Saturation，Value)图像，提取出色调(Hue)通道和饱和度(Saturation)通道，利用直方图逆投影(Histogram Back-Projection)计算出跟踪窗口中像素的色调和饱和度概率分布，红色概率分布，绿色概率分布，蓝色概率分布，如式(1)或式(1′)。

第二，将色调和饱和度概率分布，红色概率分布，绿色概率分布，蓝色概率分布中的值域利用式(2)或式(2′)进行重新取值，使得值域由[0，max(q_u(v))]或[0，max(q_u)]投影到[0，255]。

第三，按照一定规则在色调和饱和度特征，红色特征，绿色特征，蓝色特征中选择适合的特征作为视觉跟踪算法的颜色特征，形成最终的颜色概率分布图p(x，y)。

在上述四个特征中，本发明方法优选动态选择其中最能体现目标区域和背景区域差异性的一个或多个特征，方法如下：

对于特征k，设i是特征k的数值，H₁ ^k(i)表示目标区域A中特征值的直方图，H₂ ^k(i)表示背景区域B和C中特征值的直方图，p_k(i)是目标区域A的离散概率分布，q_k(i)是背景区域B和C的离散概率分布，L_i ^k是特征k的对数似然率，如式(10)，取δ＞0的很小的数，这主要是防止式(10)出现分母是0或者log0的情况。var(L_i ^k；p_k(i)是相对目标类分布p_k(i)的L_i ^k的方差，如式(11)，var(L_i ^k；q_k(i))是相对背景类分布q_k(i)的L_i ^k的方差，如式(12)，var(L_i ^k；R_k(i))是相对目标和背景类分布的L_i ^k的方差，如式(13)，V(L；p_k(i)，q_k(i))是L_i ^k的方差，如式(14)，V(L；p_k(i)，q_k(i))表示了特征k能够把目标和背景相分离的能力，V(L；p_k(i)，q_k(i))越大说明特征k越容易从背景中分离出目标，这个特征越可靠，越适合作为跟踪目标的特征。

$L_i^k=\log \frac{\max \{p_k\left(i\right),\mathrm{\δ}\}}{\max \{q_k\left(i\right),\mathrm{\δ}\}}---\left(10\right)$

$\mathrm{var}(L_i^k;p_k\left(i\right))=E[L_i^k*L_i^k]-{\left(E\right[L_i^k\left]\right)}^2=\underset{i}{\mathrm{\Σ}}{p}_k\left(i\right)*L_i^k*L_i^k-{[\underset{i}{\mathrm{\Σ}}{p}_k\left(i\right)*L_i^k]}^2---\left(11\right)$

$\mathrm{var}(L_i^k;q_k\left(i\right))=E[L_i^k*L_i^k]-{\left(E\right[L_i^k\left]\right)}^2=\underset{i}{\mathrm{\Σ}}{q}_k\left(i\right)*L_i^k*L_i^k-{[\underset{i}{\mathrm{\Σ}}{q}_k\left(i\right)*L_i^k]}^2---\left(12\right)$

$\mathrm{var}(L_i^k;R_k\left(i\right))=E[L_i^k*L_i^k]-{\left(E\right[L_i^k\left]\right)}^2=\underset{i}{\mathrm{\Σ}}{R}_k\left(i\right)*L_i^k*L_i^k-{[\underset{i}{\mathrm{\Σ}}{R}_k\left(i\right)*L_i^k]}^2---\left(13\right)$

其中R_k(i)＝[p_k(i)+q_k(i)]/2；

$V(L_i^k;p_k\left(i\right),q_k\left(i\right))=\frac{\mathrm{var}(L_i^k;R_k\left(i\right))}{\mathrm{var}(L_i^k;p_k\left(i\right))+\mathrm{var}(L_i^k;q_k\left(i\right))}---\left(14\right)$

在视频跟踪过程中，不断检测评判色调和饱和度特征、R(Red)信道特征、G(Green)信道特征和B(Blue)信道特征的可靠性，当它们的可靠性发生变化时，则根据式(14)计算它们的可靠性，并按照可靠性的大小重新排列，取V(L_i ^k；p_k(i)，q_k(i))最大的W个特征作为跟踪目标的颜色特征。所述W值优选是1，2或3。

位置特征

关于位置特征，本发明利用帧差计算出前后两帧图像中每一点的灰度差值，然后通过设定一个阈值来判定哪些像素点是运动点，超过该阈值即为运动点。如果只是依赖于经验来设定帧差阈值，则带有一定的盲目，只适用于某些特定的场合。为此本发明优选使用Otsu方法来动态确定这个帧差阈值F。Otsu算法的基本思想是寻找合适的阈值F使类内散布矩最小，这等价于寻找合适的阈值F使类间散布矩最大，即通过帧差阈值F将帧差图像分割成两类，使得被分成的两类的方差为最大。类内散布矩表示各样本点围绕它们均值周围的散布情况，类间散布矩表示各类之间的散布情况。类间散布矩越小意味着各类样本内部越紧密，类间散布矩越大意味着各类样本之间可分性越好。

运动连续性特征

关于运动连续性特征，本发明通过前几帧的图像估测跟踪目标的速度，进而由前几帧图像跟踪得到的目标位置估测出当前时刻的目标中心位置。在很短时间内(视频帧之间)，目标运动具有很强的连续性，目标的速度可视为是恒定不变的，因此，可以通过前几帧的图像估测跟踪目标的速度，进而由前几帧图像跟踪得到的目标位置估测出当前时刻的目标中心位置。

X(t，row)＝X(t-1，row)±(X(t-1，row)-X(t-2，row))    (3)

X(t，col)＝X(t-1，col)±(X(t-1，col)-X(t-2，col))    (4)

设X(t，row)表示t时刻当前目标中心位置的行坐标，如式(3)，X(t，col)表示t时刻当前目标中心位置的纵坐标，如式(4)，row是图像的最大行数，col是图像的最大纵数，考虑了目标运动的连续性，通过使用线性预测器来预测当前位置。所以X(t，row)、X(t-1，row)和X(t-2，row)的关系如式(5)，X(t，col)、X(t-1，col)和X(t-2，col)的关系如式(6)。

X(t，row)∈[max(X(t-1，row)-(X(t-1，row)-X(t-2，row))，1)，min(X(t-1，row)+(X(t-1，row)-X(t-2，row))，rows)]    (5)

X(t，col)∈[max(X(t-1，col)-(X(t-1，col)-X(t-2，col))，1)，min(X(t-1，col)+(X(t-1，col)-X(t-2，col))，cols)]               (6)

设所述跟踪窗口行宽是width，纵长是length，则当前时刻目标的行坐标，如式(7)，纵坐标，如式(8)，即目标在这个矩形范围内。

Y(t，row)∈[max(X(t，row)-width，1)，min(X(t，row)+width，rows)]    (7)

Y(t，col)∈[max(X(t，col)-length，1)，min(X(t，col)+length，cols)]    (8)

设B′(x，y，t)表示运动连续性特征的概率分布图，如式(9)，其中，(x，y，t)表示t时刻坐标(x，y)的像素，1表示被跟踪的目标，0表示背景像素。

$B^{\′}(x,y,t)=\left\{\begin{array}{cc}1& (x,y,t)\∈Y(t,\mathrm{row})\∩Y(t,\mathrm{col})\\ 0& (x,y,t)\∉Y(t,\mathrm{row})\∩Y(t,\mathrm{col})\end{array}\right.---\left(9\right)$

线索融合

假设P_k(row，colu，t)是像素点(row，colu)在时刻t，通过特征k得到的概率分布，它表征每个像素(row，colu)在特征k下属于目标区域的概率。P(row，colu，t)代表在时刻t，W+2个特征(W个颜色特征，一个预测目标位置特征和一个运动连续性特征)经过融合后的最终概率分布，它表征每个像素(row，colu)属于目标区域的概率，如式(15)。W个颜色特征通过上一帧的可靠性作为竞争评判的依据，某个特征可信性高，则在视觉跟踪***中占主导地位，提供更多的信息给跟踪***；可信度低时，信息会被降低利用率或者忽略不计。

$P(\mathrm{row},\mathrm{colu},t)=\underset{k=1}{\overset{W+2}{\mathrm{\Σ}}}{r}_k*P_k(\mathrm{row},\mathrm{colu},t)---\left(15\right)$

其中r_k是特征k的权值，r₁，r₂，...，r_k是被选择的颜色特征，r_w+1是预测目标位置特征的权值，r_w+2是运动连续性特征的权值， $\underset{k=1}{\overset{W+2}{\mathrm{\Σ}}}{r}_k=1,$ 为了使得P_w+1(row，colu，t)和P_w+2(row，colu，t)的值域投影到[0，255]，取P_w+1(row，colu，t)＝B(x，y，t)*255，P_w+2(row，colu，t)＝B′(x，y，t)*255。

与现有技术相比，本发明简单有效，不需要假设背景模型，不需要事先对无运动目标的视频序列进行训练，它的关键在于实现了多个线索的融合，适用不同场景，取得了较好的跟踪效果，尤其适合视频序列中目标环境的颜色饱和度较低和目标被部分遮挡的情况。

利用本发明进行视觉跟踪，既可以作为跟踪结果来利用，也可以作为下一步的视觉理解的中间结果。本发明在信息领域有广泛的应用前景，可以在人与机器人的交互技术(Human Robot Interaction，简称HRI)、视觉智能监控、智能机器人、虚拟现实技术、基于模型的图像编码，流媒体的内容检索等领域得到应用。在此仅以视觉智能监控***为例，它涵盖了安防、交通、消防、军工、通信等领域，视频监控***已经应用于小区安全监控、火情监控、交通违章、流量控制、军事和银行、商场、机场、地铁等公共场所安全防范等。现有的视频监控***通常只是录制视频图像，用来当作事后证据，没有充分发挥实时主动的监控作用。如果将现有的视频监控***改进成为智能视频监控***，就能够大大地增强监控能力、降低不安全隐患，同时节省人力物力资源，节约投资。视频智能***可以解决的问题有两个：一个是将安防操作人员从繁杂而枯燥的“盯屏幕”任务解脱出来，由机器来完成这部分工作；另外一个是在海量的视频数据中快速搜索到想要找的图像，即对目标进行跟踪，如北京地铁13号线，利用视频分析抓住偷窃贼；浦东机场、首都机场及已经多条在建铁路项目，都预计使用视频分析技术，而本发明的视觉跟踪方法就是这些视频分析技术的核心和关键技术之一。

附图说明

图1为本发明方法融合线索的示意图；

图2为本发明跟踪窗口示意图，A是目标区域，B和C是背景区域；

图3-5分别是针对分辨率为640*512的视频序列的50帧，100帧和120帧的视觉跟踪示意图，其中图a表示运动连续性特征概率分布图，b表示位置特征概率分布图，c表示总概率分布图，d表示当前帧跟踪结果图。

图6a-d分别是针对分辨率为640*480的视频序列的50帧，90帧，120帧和164帧的视觉跟踪结果图。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本发明的保护范围不限于下述的实施例。

本实施例的视觉跟踪根据下列步骤进行：

第一，在视频序列的第1帧设置跟踪窗口，跟踪窗口的长宽根据被跟踪目标的大小由操作者确定，且在跟踪过程中不变。将跟踪窗口分成三份，中间部分(A)为目标区域，左右(B和C)为背景区域，如图2所示。

第二，从第2帧起，根据前一帧选择最可靠的2(W＝2)个颜色特征(比如，R信道和B信道)，计算颜色特征概率分布图M₁。

第三，计算位置特征概率分布图M₂。

第四，计算运动连续性特征概率分布图M₃。

第五，将如上所得的三种概率分布图(M₁、M₂、M₃)分别加权相应的r_k，得到最终的概率分布图M，在本实施例中M₁-M₃的权重依次为3/7(其中R信道和B信道的权重分别为2/7和1/7)，2/7和2/7。

第六，在概率分布图M中，通过CAMSHIFT算法得到当前帧的跟踪窗口的中心点坐标，CAMSHIFT算法的核心过程包括：计算跟踪窗口的零阶矩(下式16)和一阶矩(下式17和18)，通过式(19)，式(20)迭代计算(x，y)坐标，直到该坐标没有明显位移(x和y的值的变化小于2)或迭代到最大次数15次时的坐标就是当前帧的跟踪窗口中心。

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}p(x,y)---\left(16\right)$

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xp}(x,y)---\left(17\right)$

$M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yp}(x,y)---\left(18\right)$

$x=\frac{M_{10}}{M_{00}}---\left(19\right)$

$y=\frac{M_{01}}{M_{00}}---\left(20\right)$

图3-图5分别是针对分辨率为640*512的视频序列的50帧，100帧和120帧的视觉跟踪示意图。

图6是针对分辨率为640*480的视频序列的50帧，90帧，120帧和164帧的视觉跟踪结果图。尽管该视频序列2的饱和度较低，但综合考虑了颜色特征的可靠性和多线索融合，仍然实现了跟踪目标。

Claims (6)

1.一种基于多线索融合的视觉跟踪方法，包括下列步骤：

a)在一段视频序列的第一帧中确定一跟踪窗口，所述跟踪窗口包括目标区域和背景区域，所述目标区域包含被跟踪的对象；

b)对于自第二帧起的每一帧，获得前一帧的颜色特征概率分布图，位置特征概率分布图和运动连续性特征概率分布图；所述颜色特征概率分布图中的颜色特征包括色调和饱和度特征、R信道特征、G信道特征、和B信道特征中的一个或多个；

c)将所述三种概率分布图加权相加得到总概率分布图；

d)在所述总概率分布图中，通过CAMSHIFT算法得到当前帧的跟踪窗口的中心点坐标。

2.如权利要求1所述的视觉跟踪方法，其特征在于，所述跟踪窗口是一矩形，所述矩形等分成三份，中间一份是所述目标区域，两边各一份是所述背景区域。

3.如权利要求1所述的视觉跟踪方法，其特征在于，通过下式计算所述色调和饱和度特征、R信道特征、G信道特征、和B信道特征的V(L；p_k(i)，q_k(i))值，所述颜色特征概率分布图中的颜色特征包括所述V值最大的前一个、两个或三个特征：

$V(L_i^k;p_k\left(i\right),q_k\left(i\right))=\frac{\mathrm{var}(L_i^k;R_k\left(i\right))}{\mathrm{var}(L_i^k;p_k\left(i\right))+\mathrm{var}(L_i^k;q_k\left(i\right))},$ 其中，

p_k(i)表示所述目标区域的离散概率分布；

q_k(i)表示所述背景区域的离散概率分布；

其中δ用于确保不出现分母是0或者log0的情形；

R_k(i)＝[p_k(i)+q_k(i)]/2；

其中E表示均值，var表示方差；

$\mathrm{var}(L_i^k;q_k\left(i\right))=E[L_i^k*L_i^k]-{\left(E\right[L_i^k\left]\right)}^2=\underset{i}{\mathrm{\Σ}}{q}_k\left(i\right)*L_i^k*L_i^k-{[\underset{i}{\mathrm{\Σ}}{q}_k\left(i\right)*L_i^k]}^2;$

$\mathrm{var}(L_i^k;R_k\left(i\right))=E[L_i^k*L_i^k]-{\left(E\right[L_i^k\left]\right)}^2=\underset{i}{\mathrm{\Σ}}{R}_k\left(i\right)*L_i^k*L_i^k-{[\underset{i}{\mathrm{\Σ}}{R}_k\left(i\right)*L_i^k]}^2.$

4.如权利要求1所述的视觉跟踪方法，其特征在于，所述位置特征概率分布图通过下列方法获得：计算所述跟踪窗口在当前帧和前一帧中每个像素点的灰度差值，若所述差值大于设定的阈值，则所述像素点是运动点，所述位置特征概率分布图包括所有所述运动点。

5.如权利要求4所述的视觉跟踪方法，其特征在于，所述阈值通过Otsu方法动态确定。

6.如权利要求1所述的视觉跟踪方法，其特征在于，将所述三种概率分布图加权相加得到总概率分布图时，各种概率分布图的权重之和是1。

Images