CN101324958A - 一种目标跟踪方法及装置 - Google Patents

Abstract

本发明提供的目标跟踪方法及装置，通过把混合高斯模型和基于图像特征的目标相似度联系起来，采用目标区域的图像特征描述混合高斯模型中的加权因子，经过EM迭代处理，估计目标位置参数和目标形状大小的协方差矩阵参数，实现根据跟踪目标的运动情况自适应地改变目标区域参数，以达到实时准确跟踪目标的效果。

Description

一种目标跟踪方法及装置

技术领域

本发明涉及图像处理技术，特别涉及一种目标跟踪方法及装置。

背景技术

目标跟踪在人机交互、自动监视、视频检索、交通检测以及车辆导航中有着广泛的应用。目标跟踪的任务是确定目标在视频流中的几何状态，包括位置、形状大小等。由于被跟踪的目标通常具有不规则的运动，再加上复杂背景的干扰，目标跟踪算法面临着诸多挑战，是图像处理技术领域的研究热点之一。

目前普遍采用的目标跟踪方法一般都采用检测或手工标定的方法在第一帧采集图像中确定跟踪目标区域的初始位置，在后续采集到的图像中寻找和跟踪对象最相近的区域，将与跟踪对象匹配的区域作为跟踪目标区域。

在目标跟踪过程中，需要维持一个跟踪队列，跟踪队列中包括基准框，每个基准框表示一个目标区域，每个目标区域包含位置、大小等信息。例如矩形的基准框的位置可以为矩形的中心坐标，大小可以为矩形的长、宽和高。

在跟踪开始时，通常会从第一帧采集图像中检测出跟踪目标区域，在每次迭代处理后目标椭圆区域随着目标区域的靠近或远离，增大或减小相应倍数，取相似度量最大区域作为当前帧的目标区域。然而由于跟踪目标运动的不规则性，具有不可预见性，按照预先设定的倍数对目标椭圆区域增大或减小，这样便不可避免地会出现一些错误跟踪、丢失跟踪目标的现象。

还有一种跟踪方法是：从第一帧采集图像中检测出跟踪目标区域，在寻找跟踪目标在当前帧中的位置和大小，则通过在一个大范围的椭圆区域内不断进行模板匹配，取相似度量最大的区域作为当前帧的目标区域。这种方法虽然比前一种方法准确度高，但是由于其要进行大范围搜索，大大地增加了计算量，无法实现实时跟踪的要求。

发明内容

有鉴于此，本发明提供一种目标跟踪方法，能够根据跟踪目标的运动情况自适应地改变目标区域参数。

本发明还提供一种目标跟踪装置，能够根据跟踪目标的运动情况自适应地改变目标区域参数。

以下为本发明实施例提供的技术方案：

一种目标跟踪方法，包括以下步骤：

1)在参考图像中检测跟踪目标，获取目标区域参数初始值，计算参考图像中目标区域的图像特征；

2)将目标区域参数初始值作为候选目标区域参数，在当前帧中确定候选目标区域，并计算候选目标区域的图像特征；

3)根据参考图像中目标区域的图像特征和候选目标区域的图像特征计算候选目标区域与参考图像中目标区域的相似性系数；

4)根据参考图像中的目标区域与当前帧中目标区域的相似性系数，计算新的目标区域参数；

5)判断所得到的新的目标区域参数是否为当前帧中目标区域参数的真实值，如果是，将新的目标区域参数作为当前帧中目标区域参数的真实值，如果否，则返回步骤2)用新的目标区域参数取代候选目标区域参数并重复步骤2)到步骤5)直至得到的是当前帧中目标区域参数的真实值的新的目标区域参数。

所述目标区域参数初始值包括目标区域中心位置参数初始值和目标区域形状大小参数初始值；

所述候选目标区域参数包括候选目标区域中心位置参数和候选目标区域形状大小参数。

所述目标区域的图像特征为目标区域的离散化颜色概率分布，所述候选目标区域的图像特征为候选目标区域的离散化颜色概率分布。

所述离散化颜色概率分布为：

${\hat{q}}_u=C{\mathrm{\Σ}}_{i=1}^{n}N(x_i^{*};{\mathrm{\μ}}_i;{\mathrm{\σ}}_i)\mathrm{\δ}[b\left(x_i^{*}\right)-u],$

其中μ_i为目标区域中心位置参数，σ_i为目标区域形状大小参数，u表示离散化等级；N(·)为高斯核函数，定义函数b(x_i ^*)：R²→{1，...，m}表示像素点x_i ^*的颜色值，δ是一个包含两个变量的函数，当变量有相同值时，该函数为1；当变量有不同值时，该函数为0，C为规范化常数，且有 ${\mathrm{\Σ}}_{u=1}^m{\hat{q}}_u=1.$

所述候选目标区域与参考图像中目标区域的相似性系数为：

其中，

为候选目标区域的离散化颜色概率分布，

为参考目标区域的离散化颜色概率分布，θ_i为候选目标区域参数，m、u表示离散化等级，且u＝1，...，m。

判断所得到的新的目标区域参数是否为当前帧中目标区域参数的真实值为：

判断所得到的新的目标区域参数与候选目标区域参数之差的绝对值是否小于预设阈值，如果小于，则认为所得到的新的目标区域参数是当前帧中目标区域参数的真实值；如果大于，则认为所得到的新的目标区域参数不是当前帧中目标区域参数的真实值。

本发明还提供一种目标跟踪装置，包括：检测模块、跟踪模块。

所述检测模块，用于从参考图像中检测出跟踪目标，获取目标区域参数初始值，计算参考图像中目标区域的图像特征，并将目标区域参数初始值和图像特征发送至所述跟踪模块；

所述跟踪模块，用于接收来自所述检测模块的目标区域参数初始值，将目标区域参数初始值作为候选目标区域参数，计算候选目标区域的图像特征；

所述跟踪模块，还用于根据来自所述检测模块的参考图像中目标区域的图像特征和所述候选目标区域的图像特征，计算候选目标区域和参考图像中候选目标区域的相似性系数，并根据所述相似性系数和候选目标区域参数计算当前帧目标区域参数的真实值。

所述跟踪模块包括：候选目标区域更新单元、特征提取单元、计算单元、判断单元，其中

所述候选目标区域更新单元，用于接收来自外部的图像，和来自检测模块的目标区域参数初始值，并根据所述目标区域参数初始值在当前帧中确定候选目标区域，

所述候选目标区域更新单元，还用于接收经计算单元所得到的结果作为候选目标区域参数发送给特征提取单元、计算单元和判断单元；

所述特征提取单元，用于根据所接收到的候选目标区域参数计算候选目标区域的图像特征；

所述计算单元，用于根据来自特征提取单元的图像特征和来自候选目标区域更新单元的目标区域参数计算新的目标区域参数，并将计算结果发送给判断单元和候选目标区域更新单元；

所述判断单元，用于判断来自计算单元的新的目标区域参数是否是当前帧目标区域参数的真实值。

所述计算单元包括：相似性系数计算子单元、目标区域参数计算子单元；

所述相似性系数计算子单元用于接收来自特征提取单元的颜色概率分布，计算候选目标区域与参考图像中目标区域的相似性系数，并将相似性系数发送给目标区域参数计算子单元；

所述目标区域参数计算子单元，用于根据来自相似性系数计算子单元的相似性系数和来自候选目标区域更新单元的候选区域参数计算新的目标区域参数，并将其发送给候选目标区域更新单元和判断单元。

所述判断单元包括：差值计算子单元，阈值存储子单元和比较子单元；

所述差值计算子单元，用于计算来自候选目标区域更新单元的候选目标区域参数与来自所述目标区域参数计算子单元的计算结果之差的绝对值，并输出给所述比较单元；

所述阈值存储子单元，用于存储用来判断新的目标区域参数是否是当前帧目标区域参数真实值的阈值；

所述比较子单元，用于比较来自所述差值计算子单元的计算结果和所述阈值存储子单元中的阈值，并输出比较结果给所述计算单元。

由以上的技术方案可见，本发明提供的目标跟踪的方法及装置，通过把混合高斯模型和基于图像特征的目标相似度联系起来，采用目标区域的图像特征描述混合高斯模型中的加权因子，经过EM迭代处理，估计目标位置参数和目标形状大小的协方差矩阵参数，与现有技术相比，既减小了计算量，又解决了由于跟踪目标运动的不规则性，具有不可预见性，按照预先设定的倍数对目标椭圆区域增大或减小，而出现错误跟踪、丢失跟踪目标的问题，实现根据跟踪目标的运动情况自适应地改变目标区域参数，以达到实时准确跟踪目标的效果。

附图说明

图1为本发明提供的一种目标跟踪方法示意图；

图2为本发明提供的一种目标跟踪方法的实施例示意图；

图3为本发明提供的一种目标跟踪装置的结构示意图；

图4为本发明提供的一种目标跟踪装置的结构实施例示意图；

图5是本发明提供的一种目标跟踪装置的计算单元具体结构实施例示意图；

图6是本发明提供的一种目标跟踪装置的判断单元具体结构实施例示意图。

具体实施方式

本发明提供了一种目标跟踪的方法及装置，通过把混合高斯模型和基于图像特征的目标相似度联系起来，采用目标区域的图像特征描述混合高斯模型中的加权因子，经过EM迭代处理，估计目标位置参数和目标形状大小的协方差矩阵参数，实现根据跟踪目标的运动情况自适应地改变目标区域参数，以达到实时准确跟踪目标的效果。

在这里先介绍一下EM算法。EM算法的基本思想是找给定观测条件下找到使得相似度量最大的参数取值。该算法取迭代形式。算法从参数的一个猜测值开始，交替地实施两个步骤：E步和M步。E步的实质是通过一致的概率模型和观测条件以及当前的参数猜测值，估计整个观测范围内位置分布的期望值；M步则是将E步获得的期望值(通常为一个函数)作为似然函数，对参数做最大似然估计。

视频跟踪的焦点问题，多集中在确定连续的图像帧中目标区域的中心位置和目标形状大小等参数上。研究发现，在跟踪过程中可以不用去考虑整个视频图像而仅仅关注所需跟踪的目标区域内所包含的内容，这种不完整数据的参数估计很适合采用EM算法来实现。

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

图1是本发明提供的目标跟踪方法的流程图示意图，该方法包括以下步骤：

步骤101，在参考图像中检测跟踪目标，获取目标区域参数初始值，计算参考图像中目标区域的图像特征。

本步骤中在参考图像中检测跟踪目标采用的是现有技术中的目标检测方法，如帧间差分方法、背景帧差方法和时间差分方法等。

其中目标区域参数初始值包括目标区域中心位置参数初始值和目标区域形状大小参数初始值。图像特征，可以是目标区域的离散化颜色分布概率，梯度特征等。

步骤102，根据目标区域参数初始值在当前帧中确定候选目标区域，获得候选目标区域参数，并计算候选目标区域的图像特征。

其中候选目标区域参数包括候选目标区域中心位置参数和候选目标区域形状大小参数。计算得到的候选目标区域图像特征与步骤101中得到的参考图像中目标区域的图像特征种类相同。

在这个步骤中，根据目标区域参数初始值在当前帧中确定候选目标区域具体为：使得候选目标区域中心位置参数等于目标区域参数中心位置参数初始值，候选目标区域形状大小参数等于目标区域参数形状大小参数初始值。

步骤103，根据参考图像中目标区域的图像特征和候选目标区域的图像特征计算参考图像中的目标区域与当前帧中候选目标区域的相似性系数。

所述参考图像中的目标区域与当前帧中候选目标区域的相似性系数为对参考图像中的目标区域内各离散化等级的颜色概率分布与候选目标区域内对应的各离散化等级的颜色概率分布的乘积取平方根，并对各平方根进行求和。

步骤104，根据参考图像中的目标区域与当前帧中目标区域的相似性系数，对候选目标区域参数进行EM迭代处理，逐次逼近当前帧目标区域参数的真实值。

本步骤具体为：根据候选目标区域与参考图像中目标区域的相似性系数，计算新的目标区域参数；

判断所得到的新的目标区域参数与候选目标区域参数之差的绝对值是否小于预设阈值，如果小于，则所得到的目标区域参数即为当前帧中目标区域参数的真实值；否则将所得到的新的目标区域参数作为下一次EM处理的候选目标区域参数。

下面结合具体实施例，详细说明本发明提供的目标跟踪方法。

在介绍本发明具体实施例之前，首先介绍一下本发明实施例的建模过程以及原理。

本发明提供的实施例选用混合高斯模型，以多个高斯分布函数的加权和来逼近目标区域内像点x的图像特征函数p(x|θ)：

$p\left(x\right|\mathrm{\θ})={\mathrm{\Σ}}_{i=1}^M{\mathrm{\α}}_i{p}_i\left(x\right|{\mathrm{\θ}}_i)---\left(1\right)$

其中，p_i为参数θ_i的高斯分布，θ＝{μ，σ²}，其中μ为均值，σ²为方差。参数θ在目标区域内存在M种可能，α_i为相应的高斯分布的加权值，与该像点的颜色直方图相似度量有关，跟踪问题中，当前帧的目标区域参数可理解为上一帧中目标的原始参数和各像点位移以及区域形状大小变化参数的总和。这里，设定目标区域中各个像点初始位置X＝{x₁，...，x_N}为确定的数据，N为目标区域内像点的个数，定义目标形状变化和位移变化参数为子集Y＝{y₁，...，y_M}，Y为不可观测的未知数据，且对于目标区域中像点i有y_i∈{1，...，M}。即假如像点i的参数变化由式(1)中第k个高斯项生成，则y_i＝k。假设给定y_i的值为一个随机向量，则整个目标区域的参数似然估计为：

$\ln \left(f(X,Y|\mathrm{\θ})\right)=\ln \left(\underset{i=1}{\overset{N}{\mathrm{\Π}}}p(x_i,y_i|\mathrm{\θ})\right)$

$=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln \left(\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_j{p}_j(x_i,y_i|{\mathrm{\θ}}_j)\right)={\mathrm{\Σ}}_{i=1}^N\ln \left({\mathrm{\α}}_{\mathrm{yi}}{p}_{\mathrm{yi}}\left(x_i\right|{\mathrm{\θ}}_{\mathrm{yi}})\right)---\left(2\right)$

结合EM步骤的推导：

E步：给定观测X和已知

条件下，计算对数似然ln(f(X，Y|θ))的期望值，

$Q(\mathrm{\θ},{\mathrm{\θ}}^g)=\underset{y\∈(y_1,\·\·\·{,y}_m)}{\mathrm{\Σ}}\ln f\left(\mathrm{\θ}\right|X,Y)p\left(y\right|X,{\mathrm{\θ}}^g)$

$=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{l=1}{\overset{M}{\mathrm{\Σ}}}\ln \left({\mathrm{\α}}_l{p}_l\left(x_i\right|{\mathrm{\θ}}_l)\right)\left(\underset{j=1,j\≠i}{\overset{N}{\mathrm{\Π}}}\underset{y_j=1}{\overset{M}{\mathrm{\Σ}}}p\left(y_i\right|x_j,{\mathrm{\θ}}^g)\right)p\left(l\right|x_i,{\mathrm{\θ}}^g)---\left(3\right)$

M步：找使Q(θ，θ^g)最大化的θ，作为对该参数的新估计。因为α_l和θ_l不相关，我们可以分别最大化式(3)中分别包含参数的数据项。对包含参数α_l的第一项，引入拉格朗日因子λ，且有约束项∑_lα_l＝1，求解下面方程：

$\frac{\∂}{\∂{\mathrm{\α}}_l}(\underset{l=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln \left({\mathrm{\α}}_l\right)p\left(l\right|x_i,{\mathrm{\θ}}^g)+\mathrm{\λ}(\underset{l}{\mathrm{\Σ}}{\mathrm{\α}}_l-1))=0$

可以得到：

${\mathrm{\α}}_l=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}p\left(l\right|x_i,{\mathrm{\θ}}^g)---\left(4\right)$

高斯分布p_l(x|μ_l，∑_l)可以表示为：

$p_l\left(x\right|{\mathrm{\μ}}_l,{\mathrm{\σ}}_l)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\σ}}_l\right|}^{1/2}}\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_l)}^T{{\mathrm{\σ}}_l}^{-1}(x-{\mathrm{\μ}}_l))---\left(5\right)$

其中，μ_l表示均值，σ_l表示方差。

则对包含参数θ_l的第二项，可以写为：

$\underset{l=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln \left(p_l\left(x_i\right|{\mathrm{\θ}}_l)\right)p\left(l\right|x_i,{\mathrm{\θ}}^g)$

$=\underset{l=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(-\frac{1}{2}\ln \left(\right|{\mathrm{\σ}}_l|-\frac{1}{2}{(x-{\mathrm{\μ}}_l)}^T{{\mathrm{\σ}}_l}^{-1}(x-{\mathrm{\μ}}_l))p\left(l\right|x_i,{\mathrm{\θ}}^g)---\left(6\right)$

式(4.26)对μ_l求偏导并令其等于0，可得：

${\mathrm{\Σ}}_{i=1}^N{{\mathrm{\σ}}_l}^{-1}(x-{\mathrm{\μ}}_l){\mathrm{\α}}_{l}p\left(l\right|x_i,{\mathrm{\θ}}^g)=0$

所以可求得：

${\mathrm{\μ}}_l=\frac{{\mathrm{\Σ}}_{i=1}^N{x}_{i}p\left(l\right|x_i,{\mathrm{\θ}}^g)}{{\mathrm{\Σ}}_{i=1}^{N}p\left(l\right|x_i,{\mathrm{\θ}}^g)}---\left(7\right)$

式(4.27)对σ_l求偏导并令其等于0，可得：

${\mathrm{\σ}}_l=\frac{{\mathrm{\Σ}}_{i=1}^{N}p\left(l\right|x_i,{\mathrm{\θ}}^g)(x-{\mathrm{\μ}}_l){(x-{\mathrm{\μ}}_l)}^T}{{\mathrm{\Σ}}_{i=1}^{N}p\left(l\right|x_i,{\mathrm{\θ}}^g)}---\left(8\right)$

图2是本发明提供的一种目标跟踪方法的具体实施例示意图，在本实施例中，检测跟踪目标的方法采用背景帧差的方法，目标区域的图像特征以目标区域的离散化颜色概率分布为例。该方法包括以下步骤：

步骤201，在参考图像中检测跟踪目标，得到参考图像中目标区域的中心位置参数和形状大小参数，作为目标区域参数的初始值，并计算这个区域的离散化颜色概率分布。

在这个步骤中，采用背景帧差的方法在参考图像中检测跟踪目标，具体为：

首先进行背景建模，这里采用的背景模型是时间平均图像，即利用同一场景在一个时间段的平均图像作为该场景的背景建模。

然后，将T时刻输入的图像作为参考图像，将其分别与背景图像及其前一帧图像相减得到两帧差分图像，使用阈值化方法对两帧差分图像分别进行二值化处理。接着，使用数学形态方法，比如膨胀运算、腐蚀运算、开运算、关运算等，对两帧二值化图像进行滤波处理，填充前景区域中的空洞，同时去除面积较小的孤立区域、非连通区域，只保留连通区域的面积大于给定阈值的连通部分。

最后，对上述两帧滤波后的二值化图像进行逻辑与运算，并对运算后的图像进行数学形态滤波处理，对滤波后的图像采用轮廓跟踪的方法得到跟踪目标的轮廓。用一个矩形基准框表示一个跟踪目标的目标区域，目标区域参数包括目标区域的形状大小参数和中心位置参数。其中，目标区域的形状大小参数为这个矩形基准框的长和宽，目标区域的中心位置参数为矩形基准框中心点在图像中的行数(从上往下数)及列数(从左往右数)。

假设在参考图像中检测到的目标区域 $S=\left\{x_i^{*}\right\},i=1,\·\·\·,n,$ 目标区域参数为θ₀＝(μ₀，σ₀)，其中θ₀为目标区域参数初始值，μ₀为目标区域中心位置参数初始值，σ₀为目标区域形状大小参数初始值，且有 ${\mathrm{\σ}}_0={\mathrm{\Σ}}_{x_i\∈S}({\stackrel{\→}{x}}_i-{\stackrel{\→}{\mathrm{\μ}}}_0){({\stackrel{\→}{x}}_i-{\stackrel{\→}{\mathrm{\μ}}}_0)}^T.$ 定义函数b(x_i ^*)：R²→{1，...，m}表示像素x_i ^*的颜色值。则参数θ＝(μ₀，σ₀)限定的目标区域中，像素点x_i ^*的离散化颜色概率分布 $q_u=\left\{{\hat{q}}_u\left(y\right)\right\},u=1,\·\·\·,m.$ 可表示为：

${\hat{q}}_u=C{\mathrm{\Σ}}_{i=1}^{n}N(x_i^{*};{\mathrm{\μ}}_0;{\mathrm{\σ}}_0)\mathrm{\δ}[b\left(x_i^{*}\right)-u]---\left(9\right)$

其中，δ是kronecker delta函数，其主要含义是两个变量的一个函数，当变量有相同值时，该函数为1；当变量有不同值时，该函数为0。C为规范化常数，且有 ${\mathrm{\Σ}}_{u=1}^m{\hat{q}}_u=1.$ m表示离散化等级，N(·)为高斯核函数。

步骤202，在当前帧中根据目标区域中心位置参数初始值μ₀和目标区域形状大小参数初始值σ₀确定候选目标区域。

这个步骤相当于EM算法中的E步，即给定参考图像中的目标区域参数为观测条件，利用这个观测条件在当前帧中确定一个候选目标区域。

这个步骤具体为：在当前帧图像中找到目标区域中心位置参数初始值μ₀所对应的位置，确定与目标区域形状大小参数初始值σ₀相等的矩形区域为候选目标区域。也就是说，假设所确定的候选目标区域参数θ_i＝(μ_i，σ_i)，其中，中心位置参数为μ_i，则有μ＝μ₀相等；候选目标区域的中心位置参数为σ_i，则有σ_i＝σ₀。。

步骤203，根据候选目标区域参数θ_i＝(μ_i，σ_i)计算候选目标区域内各像素点的颜色概率分布，并根据候选目标区域的离散化颜色概率分布和参考图像中目标区域的离散化颜色概率分布，计算候选目标区域与参考图像中的目标区域的相似性系数。

与步骤201中计算参考图像中目标区域的离散化颜色概率分布原理相同，假设候选目标区域的离散化颜色概率分布为则有：

${\hat{p}}_u\left({\mathrm{\θ}}_i\right)=C_{\mathrm{\σi}}{\mathrm{\Σ}}_{i=1}^{n_{\mathrm{\σi}}}N(x_i^{*};{\mathrm{\μ}}_i;{\mathrm{\σ}}_i)\mathrm{\δ}[b\left(x_i^{*}\right)-u_i]---\left(10\right)$

进而结合步骤201中得到的参考图像中目标区域的离散化颜色概率分布可以得到两者的相似性系数为：

步骤204，根据步骤203中得到的相似度系数对候选目标区域参数进行EM处理，计算新的目标区域参数。

这个步骤相当于EM算法中的M步，求出在E步给定的观测条件下，估计整个观测范围内位置分布的期望值，经过迭代处理，逐次逼近真实值。

在本步骤中，先将步骤203中得到的相似性系数进行泰勒公式展开，并舍去高阶项，可得：

这里c₁，c₂都是常数因子。

然后，对式(9)变形，可得：

$w_i={\mathrm{\Σ}}_{m=1}^M\sqrt{q_u/{\hat{p}}_u\left({\mathrm{\θ}}^k\right)}\mathrm{\δ}[b\left(x_i^{*}\right)-u]---\left(13\right)$

在这里需要引入一个归一化常数，式(1)中参数α_l与颜色分布的相似性系数的关系为：α_l＝γ·ρ。由式(4)和以上关系式，可得：

$p\left(l\right|x_i,{\mathrm{\θ}}^g)==w_{i}N(x_i^{*};{\mathrm{\θ}}_i)---\left(14\right)$

将式(14)代入式(7)、(8)，得到新的目标区域参数为：

${\mathrm{\μ}}_{i+1}=\frac{{\mathrm{\Σ}}_{i=1}^K{x}_i^{*}{w}_{i}N(x_i^{*};{\mathrm{\θ}}_i)}{{\mathrm{\Σ}}_{i=1}^K{w}_{i}N(x_i^{*};{\mathrm{\θ}}_i)}---\left(15\right)$

${\mathrm{\σ}}_{i+1}=\frac{{\mathrm{\Σ}}_{i=1}^K{w}_{i}N(x_i^{*};{\mathrm{\θ}}_i)(x-{\mathrm{\μ}}_{i+1}){(x-{\mathrm{\μ}}_{i+1})}^T}{(1-\mathrm{\γ}){\mathrm{\Σ}}_{i=1}^K{w}_{i}N(x_i^{*};{\mathrm{\θ}}_i)}---\left(16\right)$

其中μ_i+1为新的目标区域的中心位置参数，σ_i+1为新的目标区域的形状大小参数，K为新的目标区域内的像素点的个数。

步骤205，根据步骤204中得到的新的目标区域参数，判断其是否是当前帧中目标区域参数的真实值。

本步骤具体为：比较新的目标区域参数θ_i+1＝(μ_i+1，σ_i+1)与候选目标区域参数θ_i＝(μ_i，σ_i)，如果比较结果为两者之差的绝对值小于预设阈值，则判断η_i+1＝(μ_i+1，σ_i+1)为当前帧中目标区域参数的真实值，否则将θ_i+1＝(μ_i+1，σ_i+1)作为候选目标区域参数，并返回步骤203。

上面所说的阈值为一个足够小的值，这样才能保证所得到的新的目标区域参数足够逼近当前帧中目标区域参数的真是值，这个阈值的取值范围可以是0-10e^-6。

本发明实施例还提供了一种目标跟踪装置。图3是本发明提供的一种目标检测装置的结构示意图。该装置包括：

检测模块301，用于从参考图像中检测出跟踪目标，获取目标区域参数初始值，计算参考图像中目标区域内的图像特征，并将目标区域参数初始值和图像特征发送至跟踪模块302；

跟踪模块302，用于接收来自检测模块301的目标区域参数初始值，根据目标区域参数初始值作为候选目标区域参数，计算候选目标区域的图像特征；

跟踪模块302，还用于结合来自检测模块301的参考图像中目标区域内的图像特征，计算候选目标区域和参考图像中候选目标区域的相似性系数，并根据所述相似性系数和候选目标区域参数计算当前帧目标区域参数的真实值。

图4是跟踪模块302具体结构的一种实施例示意图，该模块包括：

候选目标区域更新单元401，接收来自外部的图像，和来自检测模块301的目标区域参数初始值，根据目标区域参数初始值在当前帧中确定候选目标区域，此时目标区域参数初始值被作为候选目标区域参数发送给特征提取单元402。

候选目标区域更新单元401，还用于接收经计算单元403所得到的结果作为候选目标区域参数发送给特征提取单元402、计算单元403和判断单元404；

特征提取单元402，根据所接收到的候选目标区域参数计算候选目标区域的图像特征，并将所得到的候选目标区域图像特征发送给计算单元；

计算单元403，根据来自检测模块301的图像特征初始值和来自特征提取单元402的候选目标区域图像特征计算候选目标区域与参考图像中目标区域的相似性系数；还用于根据来自特征提取单元402的图像特征和来自候选目标区域更新单元401的目标区域参数计算新的目标区域参数，并将计算结果发送给判断单元404和候选目标区域更新单元401；

判断单元404，判断来自计算单元403的新的目标区域参数与来自候选目标区域更新单元401的候选目标区域参数之差的绝对值是否小于阈值，如果小于，则判定新的目标区域参数就是当前帧目标区域参数的真实值；

否则，新的目标区域参数将返回给候选目标区域更新单元401作为新一轮计算的候选目标区域参数。

图5是计算单元具体结构的一种实施例示意图，该计算单元包括：

相似性系数计算子单元501，接收来自特征提取单元402的图像特征，计算候选目标区域与参考图像中目标区域的相似性系数，并将相似性系数发送给目标区域参数计算子单元502；

目标区域参数计算子单元502根据来自相似性系数计算子单元501的相似性系数和来自候选目标区域更新单元401的候选区域参数计算新的目标区域参数，并将所得到的新的目标区域参数发送给候选目标区域更新单元401和判断单元404。

图6是判断单元404具体结构的一种实施例示意图，该判断单元包括：

差值计算子单元601，计算来自候选目标区域更新单元401的候选目标区域参数与来自所述目标区域计算子单元502的新的目标区域参数之差的绝对值，并输出给所述比较子单元603；

阈值存储子单元602，存储用来判断新的目标区域参数是否是当前帧目标区域参数真实值的阈值；

比较子单元603，用于比较来自所述差值计算子单元601的计算结果和阈值存储子单元602中的阈值，如果小于，则判定新的目标区域参数就是当前帧目标区域参数的真实值；

否则，新的目标区域参数将返回给候选目标区域更新单元401作为新一轮计算的候选目标区域参数。

由上述的实施例可见，本发明提供的目标跟踪方法及装置，通过把混合高斯模型和基于图像特征的目标相似度联系起来，采用目标区域的图像特征描述混合高斯模型中的加权因子，经过EM迭代处理，估计目标位置参数和目标形状大小的协方差矩阵参数，实现根据跟踪目标的运动情况自适应地改变目标区域参数，以达到实时准确跟踪目标的效果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种目标跟踪方法，其特征在于，包括以下步骤：

1)在参考图像中检测跟踪目标，获取目标区域参数初始值，计算参考图像中目标区域的图像特征；

2)将目标区域参数初始值作为候选目标区域参数，在当前帧中确定候选目标区域，并计算候选目标区域的图像特征；

3)根据参考图像中目标区域的图像特征和候选目标区域的图像特征计算候选目标区域与参考图像中目标区域的相似性系数；

4)根据参考图像中的目标区域与当前帧中目标区域的相似性系数，计算新的目标区域参数；

5)判断所得到的新的目标区域参数是否为当前帧中目标区域参数的真实值，如果是，将新的目标区域参数作为当前帧中目标区域参数的真实值，如果否，则返回步骤2)用新的目标区域参数取代候选目标区域参数并重复步骤2)到步骤5)直至得到的是当前帧中目标区域参数的真实值的新的目标区域参数。

2、如权利要求1所述的方法，其特征在于：所述目标区域参数初始值包括目标区域中心位置参数初始值和目标区域形状大小参数初始值；

所述候选目标区域参数包括候选目标区域中心位置参数和候选目标区域形状大小参数。

3、如权利要求1所述的方法，其特征在于：所述目标区域的图像特征为目标区域的离散化颜色概率分布，所述候选目标区域的图像特征为候选目标区域的离散化颜色概率分布。

4、如权利权利要求3所述的方法，其特征在于：所述离散化颜色概率分布为：

${\hat{q}}_u=C{\mathrm{\Σ}}_{i=1}^{n}N(x_i^{*};{\mathrm{\μ}}_i;{\mathrm{\σ}}_i)\mathrm{\δ}[b\left(x_i^{*}\right)-u],$

其中μ_i为目标区域中心位置参数，σ_i为目标区域形状大小参数，u表示离散化等级；N(·)为高斯核函数，定义函数b(x_i ^*)：R²→{1，...，m}表示像素点x_i ^*的颜色值，δ是一个包含两个变量的函数，当变量有相同值时，该函数为1；当变量有不同值时，该函数为0，C为规范化常数，且有 ${\mathrm{\Σ}}_{u=1}^m{\hat{q}}_u=1.$

5、如权利要求1所述的方法，其特征在于，所述候选目标区域与参考图像中目标区域的相似性系数为：

其中，

为候选目标区域的离散化颜色概率分布，为参考目标区域的离散化颜色概率分布，θ_i为候选目标区域参数，m、u表示离散化等级，且u＝1，…，m。

6、如权利要求1所述的方法，其特征在于：判断所得到的新的目标区域参数是否为当前帧中目标区域参数的真实值为：

判断所得到的新的目标区域参数与候选目标区域参数之差的绝对值是否小于预设阈值，如果小于，则认为所得到的新的目标区域参数是当前帧中目标区域参数的真实值；如果大于，则认为所得到的新的目标区域参数不是当前帧中目标区域参数的真实值。

7、一种目标跟踪装置，其特征在于，该装置包括：检测模块、跟踪模块。

所述检测模块，用于从参考图像中检测出跟踪目标，获取目标区域参数初始值，计算参考图像中目标区域的图像特征，并将目标区域参数初始值和图像特征发送至所述跟踪模块；

所述跟踪模块，用于接收来自所述检测模块的目标区域参数初始值，将目标区域参数初始值作为候选目标区域参数，计算候选目标区域的图像特征；

所述跟踪模块，还用于根据来自所述检测模块的参考图像中目标区域的图像特征和所述候选目标区域的图像特征，计算候选目标区域和参考图像中候选目标区域的相似性系数，并根据所述相似性系数和候选目标区域参数计算当前帧目标区域参数的真实值。

8、权利要求7所述的装置，其特征在于，所述跟踪模块包括：候选目标区域更新单元、特征提取单元、计算单元、判断单元，其中

所述候选目标区域更新单元，用于接收来自外部的图像，和来自检测模块的目标区域参数初始值，并根据所述目标区域参数初始值在当前帧中确定候选目标区域，

所述候选目标区域更新单元，还用于接收经计算单元所得到的结果作为候选目标区域参数发送给特征提取单元、计算单元和判断单元；

所述特征提取单元，用于根据所接收到的候选目标区域参数计算候选目标区域的图像特征；

所述计算单元，用于根据来自特征提取单元的图像特征和来自候选目标区域更新单元的目标区域参数计算新的目标区域参数，并将计算结果发送给判断单元和候选目标区域更新单元；

所述判断单元，用于判断来自计算单元的新的目标区域参数是否是当前帧目标区域参数的真实值。

9、如权利要求8所述的装置，其特征在于，所述计算单元包括：相似性系数计算子单元、目标区域参数计算子单元；

所述相似性系数计算子单元用于接收来自特征提取单元的颜色概率分布，计算候选目标区域与参考图像中目标区域的相似性系数，并将相似性系数发送给目标区域参数计算子单元；

所述目标区域参数计算子单元，用于根据来自相似性系数计算子单元的相似性系数和来自候选目标区域更新单元的候选区域参数计算新的目标区域参数，并将其发送给候选目标区域更新单元和判断单元。

10、如权利要求9所述的装置，其特征在于，所述判断单元包括：差值计算子单元，阈值存储子单元和比较子单元；

所述差值计算子单元，用于计算来自候选目标区域更新单元的候选目标区域参数与来自所述目标区域参数计算子单元的计算结果之差的绝对值，并输出给所述比较单元；

所述阈值存储子单元，用于存储用来判断新的目标区域参数是否是当前帧目标区域参数真实值的阈值；

所述比较子单元，用于比较来自所述差值计算子单元的计算结果和所述阈值存储子单元中的阈值，并输出比较结果给所述计算单元。

Images