CN100531405C - 体育视频目标跟踪方法 - Google Patents

Abstract

本发明公开了一种体育视频目标跟踪方法，包括：提取视频中的颜色直方图，利用核函数对颜色直方图作归一化处理，得到目标的颜色分布特征；采用粒子滤波算法预测目标的运动位置；根据目标的运动位置的预测值，采用均值聚类算法求目标运动位置的精确值。本发明的体育视频目标跟踪方法引入多种运动模型，根据目标运动的特点动态地更新运动模型，从而利用很少的样本数目达到了较好的效果，降低了计算复杂度，并提高了跟踪的准确度。

Description

体育视频目标跟踪方法

技术领域

本发明涉及一种运动目标跟踪方法，更具体地说，是涉及一种基于体育视频的目标跟踪方法。

背景技术

运动目标的检测与跟踪是应用视觉领域的一个重要课题，其核心思想是综合利用图像处理，视频分析等技术手段，快速、准确地捕捉运动目标。

通过摄像机监控动态场景，早已被广泛应用于社会生活的方方面面。从社区和重要设施的保安监控到城市和高速公路上的交通监控，从军事目标的检测到智能武器，摄像机作为人类视觉的延伸起着非常重要的作用。近年来，随着视觉监控***的广泛应用，运动目标的快速定位和跟踪技术越来越引起许多科研机构及研究人员的浓厚兴趣。目前，目标跟踪方法大多是基于静态背景的，利用目标同背景之间的帧差，提取运动目标的轮廓信息，从而获得目标的运动位置。然而，体育视频中，摄像机经常发生剧烈运动，背景每时每刻都在变化，因此很难利用背景帧差获得目标的运动位置。在现有技术中，有人提出利用被跟踪目标的特征信息，再结合粒子滤波方法获取目标的运动位置。关于该方法的具体实现请见参考文献1：KatjaNUmmiaro，Esther Koller-Meier and Luc Van Gool“A Color-based ParticleFilter”Image and Vision Computing 2002.1.。

体育视频中存在目标运动较快，目标速度变化较快等特点，因此可提出四种运动模型：匀速、匀加速、静止和碰撞。由于参考文献1中所提出的粒子滤波算法只考虑了一种运动模式，因此，在跟踪那些运动模式经常发生变化的目标时，效果往往较差，虽然可以通过增加粒子滤波样本点的数目和扩大样本点分布的范围得以解决，但是***的计算复杂度也会明显增加，误差也会加大，而且还会产生很多对粒子滤波无用的样本点。特别对那些运动幅度较大的运动视频，该方法准确度较低，而且运算复杂度较大。

发明内容

本发明的目的是为了克服现有技术中只采用一种运动模式而造成跟踪目标的效果较差，计算复杂度高的缺点，提供一种快速，稳定，鲁棒的应用于体育视频的目标跟踪方法。

为了实现上述目的，本发明提供了一种体育视频目标跟踪方法，包括：

1)、提取视频中的颜色直方图，利用核函数对颜色直方图作归一化处理，得到目标的颜色分布特征；

2)、采用粒子滤波算法预测目标的运动位置，具体包括以下步骤：

2-1)、在第一帧中由正态分布产生随机样本点集合 $S_{t-1}={\left\{s_{t-1}^{\left(n\right)}\right\}}_{n=1,...,N},$ 从样本集合中选择N个服从概率分布的样本；

2-2)、根据下述公式，由当前帧的样本点集合 $S_{t-1}^{\′}={\left\{s_{t-1}^{\′\left(n\right)}\right\}}_{n=1,...,N}$ 得到下一帧图像的样本点集合 $S_t={\left\{s_t^{\left(n\right)}\right\}}_{n=1,..,N};$

$s_t^{\left(n\right)}={\mathrm{As}}_{t-1}^{\′\left(n\right)}+w_{t-1}^{\left(n\right)}$

其中，w_t-1 ⁽ⁿ⁾是***噪声，符合高斯分布，A代表运动模型，下标t-1代表当前帧，下标t代表下一帧，n代表样本点的数目；下一帧中样本点由当前帧的样本点根据运动模型产生；

2-3)、预测目标在下一帧图像中的运动位置；

3)、根据步骤2)得到的目标的运动位置的预测值，采用均值聚类算法求目标运动位置的精确值。

上述技术方案中，所述的步骤1)中，所述的颜色分布特征的提取方法的具体实现步骤如下：

1-1)、计算目标中各个象素点的权重；

1-2)、求目标的颜色直方图。

上述技术方案中，在所述的步骤2-3)中，预测目标在下一帧图像中的运动位置包括：

2-3-1)、计算目标中的每个样本点与运动模型的相似度；

2-3-2)、由步骤2-3-1)得到的相似度，计算目标中的每个样本点的概率权重；

2-3-3)、由步骤2-3-2)得到的各个样本点的概率权重，估计目标位置的期望值，所得到的目标位置的期望值就是目标在下一帧图像中的位置。

上述技术方案中，所述的步骤3)中，所述的求目标运动位置的精确值包括：

3-1)、计算由步骤2)得到的目标运动位置的预测值同运动模型之间的相似度，若相似度大于一个预先指定的阀值，则运动模型不发生变化，若相似度小于一个预先指定的阀值，则改变运动模型，并跳转到步骤2-2)，重新预测目标的运动位置，直到相似度大于预先指定的阀值为止；

3-2)、根据公式计算目标运动位置的修正值；所述的计算公式包括：

$y^{\′}=\frac{{\mathrm{\Σ}}_{i=1}^{\mathrm{hn}}{x}_i{w}_{i}g\left({\left|\right|y_0-x_i\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{\mathrm{hn}}{w}_{i}g\left({\left|\right|y_0-x_i\left|\right|}^2\right)}$

其中，y′表示修正值，x_i表示像素点，g表示距离函数，y₀表示初始位置，h表示用于表示被跟踪物体的矩形窗口的宽， $w_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\frac{p_u^{\′}}{q_u^{\′}\left(y_0\right)}}\mathrm{\σ}[b\left(x_i\right)-u]$

其中的p′_u表示被跟踪目标的颜色直方图在颜色空间索引u上的值，q′_u(y₀)表示在位置y₀的估计运动目标的颜色直方图在颜色空间索引u上的值，b(x_i)表示像素点x_i在m值直方图中的索引值， $\mathrm{\σ}\left[x\right]=\left\{\begin{array}{cc}1& x=0\\ 0& x\≠0\end{array}\right.;$

3-3)、对步骤3-2)得到的修正值和步骤2)得到的预测值求差，对差做取模运算，对取模运算的结果作判断，若取模运算的值小于用户设定的值ε，则停止迭代的过程，所得到的修正值就是运动目标的实际精确位置，否则将修正值赋给预测值，并重新执行步骤3-2)，求新的修正值。

所述的运动模型包括匀速、匀加速、静止和碰撞四种，对于不同的运动模型，在步骤2-2)中，A取不同的值。

在所述的步骤3-1)中，所述的预先指定的阀值取0.8。

在所述的步骤3-3)中，所述的用户设定的值ε为2或3。

本发明的体育视频目标跟踪方法引入多种运动模型，根据目标运动的特点动态地更新运动模型，从而利用很少的样本数目达到了较好的效果，降低了计算复杂度，并提高了跟踪的准确度。

附图说明

图1为本发明的体育视频目标跟踪方法的流程图；

图2为本发明的体育视频目标跟踪方法具体实现步骤的流程图。

具体实施方式

下面结合附图和具体实施方式，对本发明的体育视频目标跟踪方法作进一步的说明。

参考图1、图2，本发明的体育视频目标跟踪方法包含以下步骤：

步骤10、提取视频中的颜色直方图，利用核函数对颜色直方图作归一化处理，得到目标的颜色分布特征，本步骤的具体实现步骤如下。

步骤11、计算目标中各个象素点的权重。假设被跟踪的目标是一个中心为y，窗宽为h的矩形窗口，由于目标的***象素可能被遮挡或者受背景的影响而相对不可靠，因此对目标中各象素点设定不同的权重，象素点越靠近目标中心，权重越大。用g(x_i)表示各象素点的权重，各象素点权重的计算公式如公式(1)所示：

$g\left(x_i\right)=k\left({\left|\right|\frac{(x_i-x_0)}{h}\left|\right|}^2\right)---\left(1\right)$

其中，k表示一个距离函数，||代表取模运算，x_i表示目标的一个象素点，x₀代表目标的中心点。

步骤12、求目标的颜色直方图。

求目标的颜色直方图的计算公式如公式(2)所示：

q′(y)＝{q′_u(y)}_u＝1...m    (2)

其中，m代表将颜色空间划分成的区域的数目，u代表每个区域所在的颜色空间索引。q′_u(y)的值用公式(3)和(4)表示。

$\underset{u=1}{\overset{m}{\mathrm{\Σ}}}{q}_u^{\′}\left(y\right)=1---\left(3\right)$

$q_u^{\′}\left(y\right)=c_h\underset{i=1}{\overset{N}{\mathrm{\Σ}}}g\left(x_i\right)\mathrm{\σ}[b\left(x_i\right)-u],$ $\mathrm{\σ}\left[x\right]=\left\{\begin{array}{cc}1& x=0\\ 0& x\≠0\end{array}\right.---\left(4\right)$

函数b(x_i)为像素点x_i在m值直方图中的索引值，g(x_i)是步骤11中所求到的象素点的权重，C_h的值用公式(5)表示。

$c_h=\frac{1}{{\mathrm{\Σ}}_{i=1}^{N}k\left({\left|\right|\frac{(x_i-x_0)}{h}\left|\right|}^2\right)}---\left(5\right)$

步骤20、采用粒子滤波算法预测目标的运动位置，具体实现如下。

步骤21、由正态分布产生随机样本点集合 $S_{t-1}={\left\{s_{t-1}^{\left(n\right)}\right\}}_{n=1,....,N},$ 从样本集合中选择N个服从概率分布π_t-1 ⁿ的样本。

步骤211、根据公式(6)计算累积概率分布c′_t-1

c⁽⁰⁾ _t-1＝0

${c^{\left(n\right)}}_{t-1}={c^{(n-1)}}_{t-1}+{\mathrm{\π}}_{t-1}^n---\left(6\right)$

$c_{t-1}^{\′\left(n\right)}=\frac{c_{t-1}^{\left(n\right)}}{c_{t-1}^{\left(N\right)}}$

其中，t是代表时间的一个下标，这里t-1代表前一帧图像，t代表当前帧图像，计算累积概率分布c′_t-1的过程是一个递归过程，每一次当前帧产生的样本点，都是通过前一帧图像的样本点产生的

步骤212、产生N个服从均匀分布的随机数r_n∈[0，1]

步骤213、在步骤211得到的集合{c′_t-1 ^(j)}中选择满足条件 $c_{t-1}^{\′\left(j\right)}\≥r_n$ 的最小j，令 $s_{t-1}^{\′\left(n\right)}=s_{t-1}^{\left(j\right)},$ 0≤n≤N

本步骤的意义就是随机产生一个0-1区间内的随机数，然后根据这个随机数选择π_t-1 ⁿ(n＝1....N)的前几项之和大于这个随机数的样本点。

步骤22、从集合 $S_{t-1}^{\′}={\left\{s_{t-1}^{\′\left(n\right)}\right\}}_{n=1,.,N}$ 中利用运动方程(7)产生下一帧图像中的样本集合 $S_t={\left\{s_t^{\left(n\right)}\right\}}_{n=1,...,N}$

$s_t^{\left(n\right)}=A\·s_{t-1}^{\′\left(n\right)}+w_{t-1}^{\left(n\right)}---\left(7\right)$

其中，w_t-1 ⁽ⁿ⁾是***噪声，符合高斯分布，A代表运动模型。

步骤23、预测目标在下一帧图像中的位置。其具体实现如下。

步骤231、计算目标中的每个样本点与运动模型的相似度，相似度的计算公式如公式(8)所示，

$\mathrm{\ρ}[p^{\′},q^{\′}\left(s_t^{\left(n\right)}\right)]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u^{\′}{q}_u^{\′}\left(s_t^n\right)}---\left(8\right)$

其中，p′就是运动模型，代表被跟踪目标的颜色分布，q′(s_t ⁽ⁿ⁾)就是样本点的颜色分布。

步骤232、计算目标中的每个样本点的概率权重，所述的概率权重用π_t ⁿ表示，概率权重的计算公式如公式(9)所示。

${\mathrm{\π}}_t^n=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{(1-\mathrm{\ρ}[p^{\′},q^{\′}\left(s_t^{\left(n\right)}\right)\left]\right)}{{2\mathrm{\σ}}^2}}---\left(9\right)$

步骤233、根据步骤232得到的各个样本点的概率权重，估计目标位置的期望值：

$E\left[S_t\right]={\mathrm{\Σ}}_{n=1}^N{\mathrm{\π}}_t^n{s}_t^{\left(n\right)}---\left(10\right)$

所得到的目标位置的期望值就是目标在下一帧图像中的位置。

步骤30、根据步骤20得到的目标的运动位置的预测值，采用均值聚类算法求目标运动位置的精确值。假设由步骤20得到的运动目标的预测值设为初始位置，用y₀表示，求运动目标位置的精确值的具体实现步骤如下。

步骤31、计算初始位置y₀同运动模型之间的相似度，并对计算所得到的相似度作判断，当相似度ρ[p′，q′(y₀)]＞θ时，认为运动模型没有发生变化，当ρ[p′，q′(y₀)]＜θ时，则改变运动模型，并跳转到步骤22，更改运动模型(模型值为A)，重新预测目标的初始位置，直到ρ[p′，q′(y₀)]＞θ。其中，θ是一个预先指定的阀值，在一个实施例中，θ取0.8。对相似度的计算如公式(11)所示。

$\mathrm{\ρ}[p^{\′};q^{\′}\left(y_0\right)]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u^{\′}{q}_u^{\′}\left(y_0\right)}---\left(11\right)$

步骤32、根据公式(12)计算目标位置的修正值y′。

$y^{\′}=\frac{{\mathrm{\Σ}}_{i=1}^{\mathrm{hn}}{x}_i{w}_{i}g\left({\left|\right|y_0-x_i\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{\mathrm{hn}}{w}_{i}g\left({\left|\right|y_0-x_i\left|\right|}^2\right)}---\left(12\right)$

其中，g为距离函数， $w_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\frac{p_u^{\′}}{q_u^{\′}\left(y_0\right)}}\mathrm{\σ}[b\left(x_i\right)-u]$

步骤33、对y′和y₀的差做取模运算，对取模运算的结果作判断，若取模运算的值小于用户设定的值ε，则停止迭代的过程，所得到的y′就是运动目标的实际精确位置，否则将y′的值赋给y₀，并重新执行步骤32。其中，所述的用户设定的值ε为2或3。

Claims (7)

1、一种体育视频目标跟踪方法，包括以下步骤：

1)、提取视频中的颜色直方图，利用核函数对颜色直方图作归一化处理，得到目标的颜色分布特征；

2)、采用粒子滤波算法预测目标的运动位置，按以下步骤进行：

2-1)、在第一帧中由正态分布产生随机样本点集合 $S_{t-1}={\left\{s_{t-1}^{\left(n\right)}\right\}}_{n=1,....,N},$ 从样本集合中选择N个服从概率分布的样本；

2-2)、根据下述公式，由当前帧的样本点集合 $S_{t-1}^{\′}={\left\{s_{t-1}^{\′\left(n\right)}\right\}}_{n=1,...,N}$ 得到下一帧图像的样本点集合 $S_t={\left\{s_t^{\left(n\right)}\right\}}_{n=1,...,N};$

$s_t^{\left(n\right)}=A{s}_{t-1}^{\′\left(n\right)}+w_{t-1}^{\left(n\right)}$

其中，w_t-1 ⁽ⁿ⁾是***噪声，符合高斯分布，A代表运动模型，下标t-1代表当前帧，下标t代表下一帧，n代表样本点的数目；下一帧中样本点由当前帧的样本点根据运动模型产生；

2-3)、预测目标在下一帧图像中的运动位置；

3)、根据步骤2)得到的目标的运动位置的预测值，采用均值聚类算法求目标运动位置的精确值。

2、根据权利要求1所述的体育视频目标跟踪方法，其特征在于，所述的步骤1)中提取视频中颜色直方图的具体步骤如下：

1-1)、计算目标中各个象素点的权重；

1-2)、求目标的颜色直方图。

3、根据权利要求1所述的体育视频目标跟踪方法，其特征在于，在所述的步骤2-3)中，预测目标在下一帧图像中的运动位置包括：

2-3-1)、计算目标中的每个样本点与运动模型的相似度；

2-3-2)、由步骤2-3-1)得到的相似度，计算目标中的每个样本点的概率权重；

2-3-3)、由步骤2-3-2)得到的各个样本点的概率权重，估计目标位置的期望值，所得到的目标位置的期望值就是目标在下一帧图像中的位置。

4、根据权利要求1所述的体育视频目标跟踪方法，其特征在于，所述的步骤3)中，所述的求目标运动位置的精确值包括：

3-1)、计算由步骤2)得到的目标运动位置的预测值同运动模型之间的相似度，若相似度大于一个预先指定的阀值，则运动模型不发生变化，若相似度小于一个预先指定的阀值，则改变运动模型，并跳转到步骤2-2)，重新预测目标的运动位置，直到相似度大于预先指定的阀值为止；

3-2)、根据公式计算目标运动位置的修正值；所述的计算公式包括：

$y^{\′}=\frac{{\mathrm{\Σ}}_{i=1}^{\mathrm{hn}}{x}_i{w}_{i}g\left({\left|\right|y_0-x_i\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{\mathrm{hn}}{w}_{i}g\left({\left|\right|y_0-x_i\left|\right|}^2\right)}$

其中，y′表示修正值，x_i表示像素点，g表示距离函数，y₀表示初始位置，h表示用于表示被跟踪物体的矩形窗口的宽， $w_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\frac{p_u^{\′}}{q_u^{\′}\left(y_0\right)}}\mathrm{\σ}(b\left[x_i\right)-u]$

其中的p′_u表示被跟踪目标的颜色直方图在颜色空间索引u上的值，q′_u(y₀)表示在位置y₀的估计运动目标的颜色直方图在颜色空间索引u上的值，b(x_i)表示像素点x_i在m值直方图中的索引值， $\mathrm{\σ}\left[x\right]=\begin{array}{}\end{array}\left\{\begin{array}{cc}1& x=0\\ 0& x\≠0\end{array}\right.;$

3-3)、对步骤3-2)得到的修正值和步骤2)得到的预测值求差，对差做取模运算，对取模运算的结果作判断，若取模运算的值小于用户设定的值ε，则停止迭代的过程，所得到的修正值就是运动目标的实际精确位置，否则将修正值赋给预测值，并重新执行步骤3-2)，求新的修正值。

5、根据权利要求4所述的体育视频目标跟踪方法，其特征在于，所述的运动模型包括匀速、匀加速、静止和碰撞四种，对于不同的运动模型，在步骤2-2)中，A取不同的值。

6、根据权利要求4所述的体育视频目标跟踪方法，其特征在于，在所述的步骤3-1)中，所述的预先指定的阀值取0.8。

7、根据权利要求4所述的体育视频目标跟踪方法，其特征在于，在所述的步骤3-3)中，所述的用户设定的值ε为2或3。

Images