CN106408594A - 基于多伯努利特征协方差的视频多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多伯努利特征协方差的视频多目标跟踪方法，它属于人工智能和智能信息处理技术领域，主要解决复杂环境下数目未知且变化的视频多目标跟踪中存在目标紧邻、尺寸变化及跟踪不准确的问题。该方法通过在多伯努利滤波框架下，引入积分图思想，并结合多特征协方差技术，采用粒子滤波方法实现对数目变化的视频多目标跟踪；在此基础上，提出目标紧邻自适应机制和目标尺寸自适应机制，分别实现对紧邻目标及跟踪窗的自适应处理；最后采用粒子标记方法实现对视频多目标的运动轨迹自适应识别跟踪。本发明具有较强的鲁棒性和抗干扰能力，可以满足实际工程***的设计需求，具有良好的工程应用价值。

Description

基于多伯努利特征协方差的视频多目标跟踪方法

技术领域

本发明属于智能信息处理技术领域，涉及变数目视频多目标跟踪方法。具体地说是一种基于特征协方差矩阵和多伯努利滤波的视频多目标跟踪方法，可用于各种交通管制、机器人导航和视频监控等***中的视频多目标检测与跟踪。

背景技术

计算机视觉应用领域中，目标数目变化且交叉、紧邻等视频多目标跟踪是一项非常重要且具有挑战性的难题，一直是视频跟踪研究中的热点和难点。尤其是当目标交叉或紧邻时，很容易出现目标跟踪精度下降，甚至漏跟，直接影响后续的目标识别、分类、行为分析等处理。

目前，针对视频单目标跟踪，主要方法有均值漂移、卡尔曼滤波、粒子滤波以及特征匹配等。其中，如何选取合适的目标特征对目标进行全面描述，是目标跟踪中的一个关键步骤，目标描述的优劣也将直接影响后续的跟踪精度。近年来，Tuzel等学者在论文《Regioncovariance:a fast descriptor for detection and classification》中提出协方差算子，将目标的多个特征融合到一个协方差矩阵中，不仅比联合特征降低了复杂度，而且具有较强的目标描述能力，有利于解决视频目标跟踪中的干扰问题。

针对多目标跟踪，早期主要是采用数据关联技术，计算量较大，且只能跟踪数目已知且固定的多目标。近年来，随机有限集(Random Finite Set，RFS)理论得到了学者的广泛关注，在不需要复杂数据关联的情况下可以有效跟踪数目未知且变化的多目标。尤其是Mahler等学者提出的势均衡多目标多伯努利滤波(CBMeMBer)方法，通过计算漏检目标和量测更新的多伯努利随机有限集，直接近似整个多目标状态集的后验概率密度函数，既可以保证算法的跟踪精度，也降低了计算代价，在数目未知且变化的点目标和视频目标跟踪领域得到了广泛应用。但当目标紧邻和被遮挡时，这些方法难以区分多个目标，导致目标被漏估计；此外，当目标大小出现明显变化时，跟踪窗往往不能自适应，导致跟踪精度明显下降。

发明内容

对上述问题，本发明在多伯努利滤波框架下，引入特征协方差技术和粒子滤波技术，提出一种自适应的变数目视频多目标跟踪方法，以解决目标紧邻和尺寸变化时难以准确跟踪的问题，并在该方法的基础上进一步引入粒子标记技术，以实现对视频目标各自运动轨迹的准确跟踪，提高本发明方法对视频多目标跟踪的自适应性和鲁棒性。

实现本发明的关键技术是：在对视频多目标跟踪过程中，首先在多伯努利滤波框架下引入特征协方差算子描述各个视频目标的外观，以有效抑制背景干扰；然后，对目标紧邻部分进行分析，根据目标区域变化情况提出目标紧邻自适应处理机制和跟踪窗自适应处理机制，以有效分离紧邻目标，提高目标数目跟踪精度及提高跟踪窗的自适应能力；最后，采用粒子滤波技术及粒子标记技术，实现对视频多目标连续跟踪。

为实现上述目标，具体实现步骤如下：

(1)初始化步骤：

(1a)初始时刻k＝0，视频总帧数为N，初始目标状态集为初始化目标状态其中表示初始目标i矩形框左上角坐标，表示初始目标i矩形框的宽，表示初始目标i矩形框的高，M₀表示初始目标个数，初始目标存在概率P_s＝0.99，计算初始目标i的特征协方差并进行粒子初始化采样；

(1b)初始化新生目标状态集为其中 表示新生目标i矩形框左上角的坐标，表示新生目标i矩形框的宽，表示新生目标i矩形框的高，M_Γ表示新生目标个数；本发明中新生目标的位置假设固定在某坐标范围内，且假设新生目标的存在概率为0.02；新生目标i的特征协方差表示为并根据新生参数初始化新生目标的采样粒子；

(1c)初始化采样粒子参数，粒子最大数目为L_max，粒子最小数目为L_min，初始目标状态协方差Σ₀＝diag(1,1,0.1,0.1)；

(2)目标状态预测步骤：

(2a)假设目标运动模型为随机游走模型，即：

x(k+1)＝x(k)+e(k)

其中，x(k)表示k时刻目标的状态，e(k)表示k时刻零均值高斯白噪声，目标状态协方差为

(2b)目标预测，假设k-1时刻，多目标的后验概率密度可用多伯努利参数集表示为：

其中，和分别表示k-1时刻目标i的存在概率和概率分布，M_k-1表示k-1时刻目标个数；则预测后的多目标概率密度可表示为：

其中，表示k时刻存活目标的多伯努利参数集，和分别表示k时刻存活目标i的存在概率和预测概率分布，表示k时刻新生目标的多伯努利参数集，和分别表示k时刻新生目标i的存在概率和概率分布，M_Γ,k表示k时刻新生目标个数；

(3)目标似然计算步骤：

(3a)本发明可处理灰度图像序列和彩色图像序列，其中，灰度图像提取的五维特征分别为：灰度，m和n方向的一阶梯度、二阶梯度；彩色图像提取的三维特征分别为：彩色图像的H、S、V三色值；

初始化目标模板的特征协方差T和候选目标的特征协方差矩阵F，并计算两协方差矩阵的相似性测度，即：

d(T,F)＝||log(T)-log(F)||

(3b)为了更精确地对目标进行描述，避免目标被局部遮挡，增强对目标的分辨能力，本发明将目标表示为5个分块，计算每个块的特征协方差矩阵；并采用一个融合过程，融合所有块的相似性测度，忽略候选目标分块中相似性测度的最小块，得到新的总体相似性测度D，即：

其中，min表示取最小值函数，表示k时刻目标i模板的第ξ个分块的特征协方差，表示k时刻候选目标i的第ξ个分块的特征协方差；

(3c)获得总体相似性测度D后，k时刻候选目标i的采样粒子j的似然表示为：

其中，参数λ∈[10,30]；

此外，本发明中的特征模板是根据前Φ个时刻的混合特征协方差矩阵计算得到，即：

其中，F_τ，ξ表示在τ时刻目标估计状态的第ξ个分块的特征协方差；

(4)目标状态更新步骤：

k时刻，假设视频多目标随机有限集的预测概率密度可表示为：

则更新后的多目标后验概率密度可表示为：

其中，表示漏检情况下对预测进行更新得到的多伯努利参数集，表示对量测集进行更新得到的多伯努利参数集，Z_k表示k时刻的量测集合，z表示量测集合的元素；根据步骤(3)计算粒子权值；

(5)目标状态提取步骤：

为了避免粒子退化问题，对采样粒子集进行重采样，且根据采样粒子更新后的权值估计当前k时刻目标状态集X_k，此外，为了避免多伯努利参数集数量的冗余，本发明中将存在概率小于0.01的目标删除；

(6)目标紧邻自适应步骤：

当两个目紧邻时，跟踪结果往往会将两个目标判定为一个目标，从而造成跟踪错误，甚至出现目标漏跟现象；针对这种情况，本发明提出紧邻自适应处理机制；

(7)目标跟踪窗自适应步骤：

当视频目标尺寸发生较大变化时，跟踪窗不能包含目标的全部特征，造成信息丢失；为此，本发明提出跟踪窗自适应处理机制，使得跟踪窗能自适应目标尺寸大小的变化；

(8)粒子标记步骤：

本发明通过对粒子进行标记，以识别各个目标，从而实现对目标的轨迹跟踪。

本发明具有以下优点：

(1)本发明中采用了多伯努利滤波技术，有效实现了对数目未知且变化的视频多目标跟踪；且由于采用粒子标记技术，可有效地提取各个目标的运动轨迹；

(2)本发明由于利用多特征协方差算子对目标进行总体描述，对目标干扰、光照变化、以及目标形变等有较强的鲁棒性，且可以有效解决由于目标被遮挡而造成跟踪精度下降的问题；

(3)本发明提出目标跟踪窗机制和目标紧邻自适应机制，可以有效区分紧邻目标，且实现目标跟踪窗的自适应，以提高算法跟踪精度。

附图说明

图1是本发明的整体流程图；

图2是本发明方法中的积分图思想示意图；

图3是本发明方法中的计算特征协方差矩阵的目标分块示意图；

图4是本发明方法中的目标紧邻自适应效果图；

图5是本发明方法中的目标跟踪窗自适应效果图；

图6是本发明方法与传统PF-MeMBer方法的跟踪窗自适应跟踪结果对比图；

图7是本发明方法与传统PF-MeMBer方法的跟踪窗自适应跟踪结果OSPA值对比图；

图8是本发明方法与传统PF-MeMBer方法的交叉干扰跟踪结果对比图；

图9是本发明方法与传统PF-MeMBer方法的交叉干扰跟踪结果OSPA值对比图；

图10是本发明方法与传统PF-MeMBer方法的变数目多目标及遮挡干扰跟踪结果对比图；

图11是本发明方法与传统PF-MeMBer方法的变数目多目标及遮挡干扰跟踪结果OSPA值对比图。

具体实施方式

一、基础理论介绍

1.多伯努利滤波原理

多伯努利随机有限集X可表示为即M个相互独立单伯努利随机有限集X⁽ⁱ⁾的并集，r⁽ⁱ⁾和p⁽ⁱ⁾分别其存在概率和概率分布，则空间上多伯努利随机有限集的概率密度可表示为：

随机有限集可由其概率密度进行描述，该集合的平均势估计即为目标数目估计。假设一个参数集可描述一个多伯努利随机有限集，则多目标多伯努利滤波就是将状态集和观测集都采用多伯努利随机有限集近似表示，通过递推r⁽ⁱ⁾和p⁽ⁱ⁾实现多目标跟踪。其算法步骤如下：

(1)预测：

假设在k-1时刻，多目标的后验概率密度可表示为：

则预测后的多目标概率密度可表示为：

其中，

<a,b>表示变量a和b的点积，f_k|k-1(x|·)和p_S,k分别表示单目标状态转移概率密度函数和目标存活概率，为k时刻新生目标的多伯努利参数集。

(2)更新：

k时刻，设多目标随机有限集的预测概率密度可表示为：

更新后的后验多目标概率密度可表示为：

其中，

ψ_k,z(x)＝g_k(z|x)p_D,k(x)

其中，g_k(z|x)表示量测似然，p_D,k(x)表示检测概率，Z_k表示量测集合，κ_k(z)表示杂波密度函数。

2.特征协方差矩阵

设区域R表示W×H维灰度图像，F_R表示从R中提取的W×H×d维特征图，即：

其中，φ(·)是特征提取的映射函数，灰度图像五维特征分别为：灰度，m和n方向的一阶梯度、二阶梯度。对于任意矩形区域R，可以用该区域对应的d×d维特征协方差矩阵表示：

其中，f_l为第l个像素点所对应的d维特征向量，f_l∈F_R,l＝1,2,...,θ,θ＝W×H，μ为区域R的特征均值向量：

本发明是在多伯努利滤波框架下，采用粒子滤波实现视频多目标跟踪，然而在粒子滤波中，通过采样粒子获取候选目标，但是，如果对每个候选目标分别单独计算特征协方差矩阵，则候选目标重叠部分的像素将被重复统计多次，增加了计算代价。为了解决这一问题，本发明引入积分图(Integral image,II)思想来提高计算效率。

积分图是由积分图像延伸而来的，在积分图中，像素点(m',n')的积分图像II(m',n')定义为该点左上方矩形区域内所有像素点之和，即：

任意大小区域A的积分图可由其四个顶点的积分图像快速计算得到，即II(A)＝II(m",n")+II(m',n')-II(m",n')-II(m',n")，如图2所示。

区域A的平均灰度AVRG(A)为：

积分图适用于统计大量矩形区域，且这些矩形区域又存在大量的重叠区域，可降低计算量。

协方差矩阵C_R中的第(i,j)元素可以表示为：

如果记：

P_m,n＝[P(m,n,1),...,P(m,n,d)]^T

其中，

则区域协方差可表示为：

其中，θ＝(m"-m')(n"-n')。在构建积分图后，任何区域的协方差矩阵的计算复杂度将降为O(d²)，而和区域大小无关。

二、本发明基于特征协方差的多伯努利滤波框架下视频多目标跟踪方法

参照图1，本发明的具体实施步骤包括如下：

步骤1.初始化目标集，新生目标集，采样粒子参数

(1.1)初始时刻k＝0，视频总帧数为N，初始目标状态集为初始化目标状态其中和表示初始目标i矩形框左上角的坐标，表示初始目标i矩形框的宽，表示初始目标i矩形框的高，M₀表示初始目标个数，初始目标存在概率P_s＝0.99，计算初始目标i的特征协方差并进行粒子初始化采样。

(1.2)初始化新生目标状态集为其中其中和表示新生目标i矩形框左上角的坐标，表示新生目标i矩形框的宽，表示新生目标i矩形框的高，M_Γ表示新生目标个数。本发明中新生目标的新生位置假设固定在某坐标范围内，且每一帧都有目标新生，存在概率为0.02。计算新生目标i的特征协方差初始化新生目标的采样粒子。

(1.3)初始化采样粒子参数，粒子最大数目L_max，粒子最小数目L_min，初始目标状态协方差Σ₀＝diag(1,1,0.1,0.1)。

步骤2.预测目标状态

(2.1)假设目标运动模型为随机游走模型，即：

x(k+1)＝x(k)+e(k)

其中，x(k)表示k时刻目标的状态，e(k)为k时刻零均值高斯白噪声，目标状态协方差为

(2.2)假设k-1时刻，已知多伯努利后验密度为其中，和分别表示k-1时刻目标i的存在概率和概率分布，且每个由一组加权样本(粒子)表示，即：

其中，表示k-1时刻目标i的第j个采样粒子的权值，表示k-1时刻目标i的第j个采样粒子的状态向量，表示k-1时刻目标i的采样粒子个数，δ(·)为狄拉克函数。

(2.3)多目标后验概率密度的预测表示为：

其中，表示k时刻存活目标的多伯努利参数集，和分别为k时刻存活目标i的存在概率和概率分布的预测值，M_k-1表示k-1时刻目标个数，表示k时刻新生目标的多伯努利参数集，和分别为k时刻新生目标i的存在概率和概率分布，M_Γ,k表示k时刻新生目标个数；

在预测过程中，新生粒子由新生目标参数直接采样获得，存活目标多伯努利参数的预测值分别为：

其中，p_S,k为k时刻目标存活概率，

步骤3.计算量测似然

(3.1)选定当前目标的特征模板。

本发明可处理灰度图像序列和彩色图像序列，其中，灰度图像提取的五维特征分别为：灰度，m和n方向的一阶梯度、二阶梯度；彩色图像提取三维特征，即彩色图像HSV色彩空间中的H、S、V三色值。

对于存活目标的特征模板：若该目标存活时长小于Φ个时刻，即k_s＜Φ，则当前目标特征模板为前一时刻该目标提取的目标状态内的特征模板；若该目标存活时长k_s≥Φ，则当前目标特征模板为该目标前Φ个时刻提取的目标状态内的融合特征模板，即：

其中，F_τ,ξ表示在τ时刻估计状态的第ξ个分块的特征协方差。

新生目标的特征模板仅需初始化计算一次，无需每次重新计算。

(3.2)计算特征协方差矩阵及其相似性度量。

本发明采用对数-欧几里德度量特征协方差矩阵之间的差值，设目标模型特征协方差为T，候选目标特征协方差为F，则T和F之间的对数-欧几里德距离可表示为：

d(T,F)＝||log(T)-log(F)||

为了更精确地对目标进行描述，避免目标被局部遮挡，增强对目标的分辨能力，本发明采用分块描述策略对目标进行建模。本发明方法将目标表示为5个分块，每个块分别计算其特征协方差矩阵，如图3所示。计算出两幅图像之间对应每个分块的相似性测度，并采用一个融合过程融合所有块的相似性测度，忽略候选目标分块中相似性测度的最小块，得到总体相似性测度D，即：

其中，min表示取最小值函数，表示目标i的采样粒子j与目标模板的相似性测度，表示在k时刻目标i模板的第ξ个分块的特征协方差，表示k时刻候选目标i的采样粒子j的第ξ个分块的特征协方差。

(3.3)计算目标i的采样粒子j的量测似然。

在得到目标i的采样粒子j与目标模板的相似性测度后，k时刻候选目标i的采样粒子j的似然可由下式计算：

其中，参数λ∈[10,30]。

步骤4.更新目标状态

k时刻，假设预测后的多伯努利后验密度为其中，由一组加权粒子表示，即：

其中，表示k时刻目标i的第j个采样粒子权值的预测值，表示k时刻目标i的第j个采样粒子状态预测，预测高斯分量个数M_k|k-1＝M_k-1+M_Γ,k。

则更新后的多目标后验概率密度可表示为：

其中，表示漏检情况下对预测进行更新得到的多伯努利参数集，表示对量测集进行更新得到的多伯努利参数集，Z_k表示k时刻的量测集合，z表示量测集合的元素；M_k＝M_k|k-1+|Z_k|，|Z_k|表示量测的个数，和分别表示k时刻目标i的存在概率和概率分布的更新，即：

其中， 表示量测y_k对k时刻预测粒子的似然，可根据步骤(3.3)获得。

步骤5.目标状态提取

为了避免粒子退化和伯努利分量增加的问题，对粒子进行重采样，并删除存在概率小于0.01的伯努利分量，若存在概率大于等于0.5，则提取当前k时刻目标i的状态即

步骤6.紧邻目标自适应处理

(6.1)判定目标是否紧邻

以水平方向紧邻为例，假设目标i与目标j的水平距离为若小于阀值判定两个目标水平方向上基本重合，不需要处理。当大于阀值且小于阀值时，判定两个目标在水平方向上紧邻，且做分离处理，更新目标的位置参数。

(6.2)紧邻目标分离处理

w_i、w_j分别表示目标i、目标j的矩形框的宽，当判定两个目标水平方向上紧邻后，对两个目标进行水平分离处理的步骤如下：

(6.2.1)目标i的状态为x_i＝[m_i,n_i,w_i,h_i]，目标j的状态为x_j＝[m_j,n_j,w_j,h_j]，α＝0.15；

(6.2.2)两个目标的水平距离为若执行步骤(6.2.3)；否则，无需进行分离处理；

(6.2.3)若m_i≤m_j，则m_i＝m_i-w_iα,m_j＝m_j+w_jα；否则，m_i＝m_i+w_iα,m_j＝m_j-w_jα；

垂直方向紧邻判断与分离处理方法与水平方向方法相同，单帧图像目标分离结果如图4所示。

(6.3)在本发明中，将重合率较大的两个目标合并，合并条件为：两个矩形目标区域的重叠部分面积超过较小目标区域面积的80％。

步骤7.目标跟踪窗自适应处理

(7.1)获取目标扩展状态。

如图5所示，假设第k帧目标i的估计状态表示为用矩形框L₁表示；目标i估计状态的扩展状态表示为用矩形框L₂表示，本发明中取λ为1.4。

(7.2)目标估计状态更新。

将图5(a)二值化，获取目标i的矩形框L₂内包含最大连通区域的最小矩形框如图5(b)中的矩形框L₃，则目标估计状态更新为本发明中取β为0.6。

(7.3)特殊情况处理。

在某些情况下，当两个目标紧邻时，两个目标的连通区域合并成一个连通区域；或者由于背景干扰，一个目标由两个或多个连通区域组成，这些情况可能导致最大连通区域发生突变。本发明将采用多个时刻的状态融合方法，解决最大连通区域突变导致跟踪窗自适应失败的问题，即：

其中，取μ＝0.5，d＝5。即k时刻目标i的状态x_k,i是为前5帧该目标的状态与当前时刻的加权求和。

步骤8.粒子标记技术

(8.1)标记预测。k-1时刻，存活目标的多伯努利分量粒子标记可表示为：

其中，M_k-1表示伯努利分量的个数，表示第i个伯努利分量的粒子数，且即同一个伯努利分量的粒子标记相同。新生的多伯努利分量的粒子标记可表示为：

其中，M_Γ表示新生伯努利分量的个数，表示第i个新生伯努利分量的粒子数，且则伯努利分量标记的预测可以表示为：T_k|k-1＝T_k-1+T_Γ。

(8.2)标记更新。量测跟新后伯努利分量的标记可表示为：

其中，|Z_k|表示量测个数，

(8.3)重采样。重采样后的粒子与它们的父辈粒子具有相同的标记，重采样后的伯努利分量的标记为：

其中，M_k为量测跟新后伯努利分量个数，

通过比较各个伯努利分量的标记即可识别各个目标的运动轨迹。其中，当目标合并时，合并目标的标记为被合并两个目标存在概率较大目标的标记。

本发明的效果可通过以下实验进一步说明：

1.实验条件及参数

实验是在处理器为Intel Core i5-3470、3.2GHz，内存为4GB的Dell计算机平台上，采用MATLAB 2010仿真软件完成。实验一和实验二采用的数据都是从TerravicResearch Infrared Database数据库中选取的红外视频序列图像，分辨率均为320×240。实验主要用于验证本发明方法在视频多目标紧邻、尺寸变化和背景及杂波干扰情况下的跟踪性能。实验将从跟踪精度及稳定性方面，分别对发明方法和Hoseinnezhad R等学者在论文《Visual tracking in background subtracted image sequences via multi-Bernoulli filtering》中提出的传统粒子滤波多伯努利方法(PF-MeMBer)作性能对比分析。

实验三采用的数据是实验室拍摄路面上双向行驶汽车的视频数据，为彩***序列图像，分辨率为901×401。该组实验主要用于验证本发明方法对数目未知且变化的视频多目标跟踪性能，该场景中存在目标新生和消失，以及部分目标被遮挡的情况。

实验过程中还通过多次蒙特卡罗仿真，从统计特性上对发明方法在跟踪精度、稳定性和计算时间等方面进行比较和分析。选用跟踪性能评价标准分别为平均误差平均均方根误差平均失跟率和平均运行时间分别定义为：

其中，为第c次蒙特卡罗实验在k时刻对第l个目标的估计状态，为第c次蒙特卡罗实验在k时刻跟踪第l个目标的运行时间，c＝1,…,C，k＝1,…,K，l＝1,…,L，为k时刻第l个目标的真实状态，C为实验中蒙特卡罗总次数，K为实验中图像序列总帧数，L为实验中目标总个数，V为C次蒙特卡罗实验失跟总次数，失跟定义为该时刻的跟踪误差大于真实目标状态的25％个像素单元。

2.实验及结果分析

本发明方法与传统PF-MeMBer方法进行对比，主要从以下两个方面开展：

实验1：目标跟踪窗自适应

本组实验场景中，图像序列共150帧，目标尺寸变化较大，以验证提出算法跟踪窗的自适应能力。左侧目标向左移动，目标尺寸缩小。右侧目标向右移动，目标尺寸变大。如果跟踪窗不能自适应调整，则对于尺寸缩小的目标，跟踪窗内将增加背景以及杂波，目标本身像素所占比例减小，有可能造成目标漏跟；对于尺寸变大的目标，跟踪窗将不能及时包含目标所有特征信息，可能造成信息丢失。

图6给出了本发明方法及传统PF-MeMBer方法的跟踪结果，其中，图6(a)为传统PF-MeMBer方法跟踪结果，图6(b)为本发明方法跟踪结果。可以明显看出，本发明方法的跟踪窗能够根据目标尺寸的变化进行自适应调整，且能给出较好的跟踪结果，而传统的PF-MeMBer方法中对粒子的跟踪窗采用随机取值的方法，可以看出对尺寸变化较大的目标，跟踪窗不能适应目标的变化，导致目标不能被完全提取，如图6(a)中第112帧和150帧所示。

图7给出了本组实验的OSPA距离统计的对比图，可以看出，本发发明方法的跟踪精度要明显高于传统的PF-MeMBer方法。

对本组实验进行100次蒙特卡洛仿真，跟踪精度、稳定性和计算时间等方面的性能评价如表1所示。可以看出，传统PF-MeMBer方法的和均较高，虽然没有完全丢失目标，但是偏离程度较大；而本发明方法的和均较低，能够实现对尺度变化较大目标的自适应和精确跟踪。虽然存在一定程度的失跟，是由于右侧目标尺度较大，相应的跟踪误差也较大，有若干帧的误差超过25％的像素单元，但并未丢失目标。运行时间也比传统的方法要低，具有明显的跟踪优势。

表1跟踪窗自适应情况下的跟踪性能评价

实验2：目标交叉干扰实验

本组实验场景中，图像序列共100帧，目标进行交叉运动，经历紧邻、合并以及分开等过程，通过该组实验以验证本发明方法对紧邻目标的处理性能，以及对交叉目标的航迹跟踪性能。

图8给出了本发明方法及传统PF-MeMBer方法的跟踪结果，其中，图8(a)为传统PF-MeMBer方法跟踪结果，图8(b)为本发明方法跟踪结果。可以明显看出，本发明方法具有较好的跟踪性能，可以有效处理紧邻目标跟踪，如图8(b)的第57帧和68帧所示，提出方法可以有效分开两个紧邻目标，提高跟踪效率；此外，通过粒子标记方法，本发明方法也可以准确估计交叉运动目标的轨迹。

图9给出了本组实验的OSPA值的对比图，可以看出，当目标交叉相互干扰时，传统PF-MeMBer方法的误差突增，出现目标漏跟，而本发明方法在目标出现交叉干扰时能够自适应地处理紧邻目标，具有较好的跟踪性能。

对本组实验进行100次蒙特卡洛仿真，跟踪精度、稳定性和计算时间等方面的性能评价如表2所示。可以看出，传统的PF-MeMBer方法由于缺少目标紧邻自适应处理，抗干扰能力较差，在目标紧邻或交叉时无法及时分割目标状态，严重偏离目标真实状态，所以和的值都比较高；而本发明方法由于具有目标紧邻自适应处理机制，提供了方法的抗干扰能力，所以跟踪精度要明显高于传统的方法。

表2目标交叉干扰跟踪性能评价

实验3：目标新生及存在遮挡

本组实验场景中，图像序列共130帧，在不同帧中出现目标新生、消失以及被遮挡等情况，通过本组实验以验证本发明方法对目标新生和消失的处理性能，以及对被遮挡目标的跟踪性能。

图10给出了本发明方法及传统PF-MeMBer方法的跟踪结果，其中，图10(a)为传统PF-MeMBer方法跟踪结果，图10(b)为本发明方法跟踪结果。可以明显看出，本发明方法能够较好地跟踪新生目标及部分被遮挡的目标，如图10(a)和(b)所示的第122、123、125和128帧中，本发明方法可以有效提取新生目标和被部分遮挡目标的状态，且能正确给出各个目标的标记，可以识别各个目标的运动轨迹，其性能明显要优于传统的跟踪方法。

图11为本组实验的OSPA值的对比图，可以看出，传统PF-MeMBer方法的跟踪结果误差较大，尤其是当目标4出被部分遮挡后，传统方法的OSPA值急剧升高；而本发明方法由于具有较好的抗遮挡能力，所以具有较高的跟踪精度，跟踪性能明显要优于传统方法。

对本组实验进行100次蒙特卡洛仿真，跟踪精度、稳定性和计算时间等方面的性能评价如表3所示。可以看出，传统的PF-MeMBer方法由于对目标新生和消失不敏感以及缺少目标被遮挡问题处理，容易造成漏跟和错跟现象，抗干扰能力较差，在目标被遮挡后，跟踪窗严重偏离目标真实状态，所以和值都比较高；而本发明方法的和值都明显要低于传统方法，具有较好的视频多目标跟踪性能。

表3目标新生及被遮挡情况下跟踪性能评价

Claims (6)

1.基于多伯努利特征协方差的视频多目标跟踪方法，包括：

(1)初始化步骤：

(1a)初始时刻k＝0，视频总帧数为N，初始目标状态集为初始化目标状态其中表示初始目标i矩形框左上角的坐标，表示初始目标i矩形框的宽，表示初始目标i矩形框的高，M₀表示初始目标个数，初始目标存在概率P_s＝0.99，计算初始目标i的特征协方差粒子初始化采样；

(1b)初始化新生目标状态集为其中 表示新生目标i矩形框左上角的坐标，表示新生目标i矩形框的宽，表示新生目标i矩形框的高，M_Γ表示新生目标个数；本发明中新生目标的新生位置假设固定在某坐标范围内，且每一帧都有目标新生，存在概率为0.02；计算新生目标i的特征协方差初始化新生目标的采样粒子；

(1c)初始化采样粒子参数，粒子最大数目为L_max，粒子最小数目为L_min，初始目标状态协方差Σ₀＝diag(1,1,0.1,0.1)；

(2)目标状态预测步骤：

(2a)假设目标运动模型为随机游走模型，即：

x(k+1)＝x(k)+e(k)

其中，x(k)表示k时刻目标状态，e(k)为k时刻高斯噪声，其均值为0，目标状态协方差为

(2b)目标预测，假设在k-1时刻多目标的后验概率密度可用多伯努利参数集表示为：

${\mathrm{\&pi;}}_{k-1}={\left\{(r_{k-1}^{\left(i\right)},p_{k-1}^{\left(i\right)})\right\}}_{i=1}^{M_{k-1}}$

其中，和分别表示k-1时刻目标i的存在概率和概率分布，M_k-1表示k-1时刻目标个数；则预测后的后验多目标概率密度可表示为：

${\mathrm{\&pi;}}_{k|k-1}={\left\{(r_{P,k|k-1}^{\left(i\right)},p_{P,k|k-1}^{\left(i\right)})\right\}}_{i=1}^{M_{k-1}}\&cup;{\left\{(r_{\mathrm{\&Gamma;},k}^{\left(i\right)},p_{\mathrm{\&Gamma;},k}^{\left(i\right)})\right\}}_{i=1}^{M_{\mathrm{\&Gamma;},k}}$

其中，表示k时刻存活目标的多伯努利参数集，和分别表示k时刻存活目标i的存在概率和概率分布的预测值，表示k时刻新生目标的多伯努利参数集，和分别表示k时刻新生目标i的存在概率和概率分布，M_Γ,k表示k时刻新生目标个数；

(3)目标似然计算步骤：

(3a)本发明可处理灰度图像序列和彩色图像序列，其中，灰度图像提取的五维特征分别为：灰度，m和n方向的一阶梯度、二阶梯度；彩色图像提取的三维特征分别为：彩色图像的H、S、V三色值；

初始化目标模板的特征协方差T，候选目标的特征协方差矩阵F，并计算两协方差矩阵的相似性测度，即：

d(T,F)＝||log(T)-log(F)||

其中，log(·)表示对数运算；

(3b)为了更精确地对目标进行描述，避免目标被局部遮挡，增强目标分辨能力，本发明将目标表示为5个分块，每个块分别计算其特征协方差矩阵，并采用一个融合过程，融合所有块的相似性测度，忽略候选目标分块中相似性测度的最小块，得到总体相似性测度D，即：

$D(T_k^i,F_k^i)=\underset{\mathrm{\&gamma;}}{min}\left({\mathrm{\&Sigma;}}_{\mathrm{\&xi;}=1}^{5}d\right(T_{k,\mathrm{\&xi;}}^i,F_{k,\mathrm{\&xi;}}^i)-d(T_{k,\mathrm{\&gamma;}}^i,F_{k,\mathrm{\&gamma;}}^i\left)\right)$

其中，min表示取最小值函数，表示k时刻目标i模板的第ξ个分块的特征协方差，表示k时刻候选目标i的第ξ个分块的特征协方差；

(3c)获得总体相似性测度D后，k时刻候选目标i的采样粒子j的似然表示为：

$g_{j,k}^i=\frac{1}{\sqrt{2\mathrm{\&pi;}}}{e}^{-\mathrm{\&lambda;}D/2}$

其中，参数λ∈[10,30]；

此外，本发明中的特征模板T_ξ是根据前Φ个时刻的混合特征协方差矩阵计算得到，即：

$T_{\mathrm{\&xi;}}=\exp \left(\frac{1}{\mathrm{\&Phi;}}{\mathrm{\&Sigma;}}_{\mathrm{\&tau;}=k-1}^{k-\mathrm{\&Phi;}}\log \right(F_{\mathrm{\&tau;},\mathrm{\&xi;}}\left)\right),\mathrm{\&xi;}=1,2,\mathrm{...5}$

其中，F_τ,ξ表示在τ时刻目标估计状态的第ξ个分块的特征协方差；

(4)目标状态更新步骤：

k时刻，假设视频多目标随机有限集的预测概率密度可表示为：

${\mathrm{\&pi;}}_{k|k-1}={\left\{\left(r_{k|k-1}^{\left(i\right)},p_{k|k-1}^{\left(i\right)}\right)\right\}}_{i=1}^{M_{k|k-1}},M_{k|k-1}=M_{k-1}+M_{\mathrm{\&Gamma;},k}$

则更新后的多目标后验概率密度可表示为：

${\mathrm{\&pi;}}_k\&ap;{\left\{(r_{L,k}^{\left(i\right)},p_{L,k}^{\left(i\right)})\right\}}_{i=1}^{M_{k|k-1}}\&cup;{\{\left(r_{U,k}\right(z),p_{U,k}(\&CenterDot;;z)\}}_{z\&Element;Z_k}={\left\{(r_k^{\left(i\right)},p_k^{\left(i\right)})\right\}}_{i=1}^{M_k}$

其中，表示漏检情况下对预测进行更新得到的多伯努利参数集，表示对量测集进行更新得到的多伯努利参数集，Z_k表示k时刻的量测集合，z表示量测集合的元素；M_k＝M_k|k-1+|Z_k|，|Z_k|表示量测的个数，和分别表示k时刻目标i的存在概率和概率分布的更新；

(5)目标状态提取步骤：

为了避免粒子退化问题，对采样粒子集进行重采样，且根据采样粒子更新后的权值估计当前k时刻目标状态集X_k，此外，为了避免多伯努利参数集数量的冗余，本发明中将存在概率小于0.01的目标删除；

(6)目标紧邻自适应步骤：

当两个目紧邻时，跟踪结果往往会将两个目标判定为一个目标，从而造成跟踪错误，甚至出现目标漏跟现象；针对这种情况，本发明提出紧邻自适应处理机制；

(7)目标跟踪窗自适应步骤：

当视频目标尺寸发生较大变化时，跟踪窗不能包含目标的全部特征，造成信息丢失；为此，本发明提出跟踪窗自适应处理机制，使得跟踪窗能自适应目标尺寸大小的变化；

(8)粒子标记步骤：

本发明通过对粒子进行标记，以识别各个目标，从而实现对目标的轨迹跟踪。

2.根据权利要求1所述的目标跟踪方法，其中步骤(2b)中由一组加权粒子表示，即：

$p_{k-1}^{\left(i\right)}\left(x\right)={\mathrm{\&Sigma;}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\mathrm{\&omega;}}_{k-1}^{(i,j)}{\mathrm{\&delta;}}_{x_{k-1}^{(i,j)}}\left(x\right)$

其中，表示k-1时刻目标i的第j个采样粒子的权值，表示k-1时刻目标i的第j个采样粒子的状态向量，表示k-1时刻目标i的采样粒子个数，δ(·)为狄拉克函数；

新生粒子由新生目标参数直接采样获得，存活目标多伯努利参数表示为：

$r_{P,k|k-1}^{\left(i\right)}=r_{k-1}^{\left(i\right)}{\mathrm{\&Sigma;}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\mathrm{\&omega;}}_{k-1}^{(i,j)}{p}_{S,k}\left(x_{k-1}^{(i,j)}\right)$

$p_{P,k|k-1}^{\left(i\right)}\left(x\right)={\mathrm{\&Sigma;}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\widetilde{\mathrm{\&omega;}}}_{P,k|k-1}^{(i,j)}{\mathrm{\&delta;}}_{x_{P,k|k-1}^{(i,j)}}\left(x\right)$

其中，p_S,k为k时刻目标存活概率，

$x_{P,k|k-1}^{(i,j)}~f_{k|k-1}(\&CenterDot;|x_{k-1}^{(i,j)}),$

${\mathrm{\&omega;}}_{P,k|k-1}^{(i,j)}={\mathrm{\&omega;}}_{k-1}^{(i,j)},$

${\widetilde{\mathrm{\&omega;}}}_{P,k|k-1}^{(i,j)}={\mathrm{\&omega;}}_{P,k|k-1}^{(i,j)}/{\mathrm{\&Sigma;}}_{j=1}^{L_{k-1}^{\left(i\right)}}{\mathrm{\&omega;}}_{P,k|k-1}^{(i,j)}.$

3.根据权利要求1所述的目标跟踪方法，其中步骤(4)中由一组加权粒子表示，即：

$p_{k|k-1}^{\left(i\right)}\left(x\right)={\mathrm{\&Sigma;}}_{j=1}^{L_{k|k-1}^{\left(i\right)}}{\mathrm{\&omega;}}_{k|k-1}^{(i,j)}{\mathrm{\&delta;}}_{x_{k|k-1}^{(i,j)}}\left(x\right)$

其中，表示k时刻目标i的第j个采样粒子的权值的预测值，表示k时刻目标i的第j个采样粒子的状态向量的预测值；

新的粒子集进行多伯努利参数更新，

$r_k^{\left(i\right)}=\frac{r_{k|k-1}^{\left(i\right)}{\mathrm{\&epsiv;}}_k^{\left(i\right)}}{(1-r_{k|k-1}^{\left(i\right)}+r_{k|k-1}^{\left(i\right)}{\mathrm{\&epsiv;}}_k^{\left(i\right)})}$

$p_k^{\left(i\right)}=\frac{1}{{\mathrm{\&epsiv;}}_k^{\left(i\right)}}{\mathrm{\&Sigma;}}_{j=1}^{L_{k|k-1}^{\left(i\right)}}{\mathrm{\&omega;}}_{k|k-1}^{(i,j)}{g}_{yk}\left(x_{k|k-1}^{(i,j)}\right){\mathrm{\&delta;}}_{x_{k|k-1}^{(i,j)}}\left(x\right)$

其中， 表示量测y对k时刻预测采样粒子的似然，此处采样粒子似然可由步骤(3c)获得。

4.根据权利要求1所述的目标跟踪方法，其中步骤(6)所述的紧邻目标自适应处理，按如下步骤进行：

(4.1)判定目标是否紧邻

以水平方向紧邻为例，假设目标i与目标j，两个目标的水平距离表示为若小于阀值判定两个目标水平方向上基本重合，不需要处理；而当大于阀值且小于阀值时，判定两个目标在水平方向上紧邻，且做分离处理，更新目标的位置参数；

(4.2)紧邻目标分离处理

w_i、w_j分别表示目标i、目标j的矩形框的宽，当判定两个目标水平方向上紧邻后，对两个目标进行水平分离处理为：

(4.2.1)目标i的状态为x_i＝[m_i,n_i,w_i,h_i]，目标j的状态为x_j＝[m_j,n_j,w_j,h_j]，α＝0.15；

(4.2.2)两个目标的水平距离为若则到步骤(4.2.3)；否则，无需进行分离处理；

(4.2.3)若m_i≤m_j，则m_i＝m_i-w_iα,m_j＝m_j+w_jα；否则，m_i＝m_i+w_iα,m_j＝m_j-w_jα；垂直方向紧邻判断与分离处理方法与水平方向方法相同。

5.根据权利要求1所述的目标跟踪方法，其中步骤(7)所述的目标跟踪窗自适应处理，按如下步骤进行：

(5.1)获取目标扩展状态

假设第k帧目标i跟踪结果中，提取出的目标状态为目标i跟踪结果的扩展状态为

(5.2)目标估计状态更新

二值化图像，获取目标i的矩形框内包含最大连通区域的最小矩形框则目标估计状态更新为参数β取0.6；

(5.3)特殊情况处理

在某些情况下，当两个目标紧邻时，两个目标的连通区域会合并成一个连通区域，或者由于背景干扰，一个目标由两个或多个连通区域组成，这些情况可能导致最大连通区域发生突变；本发明将采用多个时刻的状态融合方法，解决最大连通区域突变导致的跟踪窗自适应失败的问题，即：

$x_{k,i}=\mathrm{\&mu;}(x_{k-d,i}+x_{k-d+1,i}+...+x_{k-1,i})+(1-\mathrm{\&mu;})x_{k,i}^F,k>5$

其中，设参数μ为0.5，d为5，即k时刻目标i的状态x_k,i是由前5帧该目标的状态与当前时刻的加权求和得到的值。

6.根据权利要求1所述的目标跟踪方法，其中步骤(8)所述的粒子标记技术，按如下步骤进行：

(6.1)标记预测，k-1时刻，存活目标的多伯努利分量粒子标记可表示为：

$T_{k-1}={\left\{T_{k-1}^{\left(i\right)}\right\}}_{i=1}^{M_{k-1}}={\left\{t_{k-1}^{\left(i\right)\left(1\right)},t_{k-1}^{\left(i\right)\left(2\right)},...,t_{k-1}^{\left(i\right)\left(L_{k-1}^{\left(i\right)}\right)}\right\}}_{i=1}^{M_{k-1}}$

其中，M_k-1表示伯努利分量的个数，表示第i个伯努利分量的粒子数，且即同一个伯努利分量的粒子标记相同；新生的多伯努利分量的粒子标记可表示为：

$T_{\mathrm{\&Gamma;}}={\left\{T_{\mathrm{\&Gamma;}}^{\left(i\right)}\right)}_{i=1}^{L_{\mathrm{\&Gamma;}}}={\left\{t_{\mathrm{\&Gamma;}}^{\left(i\right)\left(1\right)},t_{\mathrm{\&Gamma;}}^{\left(i\right)\left(2\right)},...,t_{\mathrm{\&Gamma;}}^{\left(i\right)\left(L_{\mathrm{\&Gamma;}}^{\left(i\right)}\right)}\right\}}_{i=1}^{M_{\mathrm{\&Gamma;}}}$

其中，M_Γ表示新生伯努利分量的个数，表示第i个新生伯努利分量的粒子数，且则伯努利分量标记的预测可以表示为：T_k|k-1＝T_k-1+T_Γ；

(6.2)标记更新，量测跟新后伯努利分量的标记可表示为：

$T_{k|k}=T_{k|k-1}\&cup;T_{k|k-1}^1\&cup;\mathrm{...}\&cup;T_{k|k-1}^{\left|Z_k\right|}$

其中，|Z_k|表示量测个数，

(6.3)重采样，重采样后的粒子与它们的父辈粒子具有相同的标记，重采样后的伯努利分量的标记为：

$T_k=T_k^1\&cup;\mathrm{...}\&cup;T_k^{M_k}$

其中M_k为量测跟新后伯努利分量个数，

通过比较各个伯努利分量的标记即可识别各个目标的运动轨迹；其中，当目标合并时，合并目标的标记为被合并两个目标存在概率较大目标的标记。