CN106384359A - 运动目标跟踪方法和电视 - Google Patents

Abstract

本发明提供一种运动目标跟踪方法和电视，其中，该方法包括：采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

Description

运动目标跟踪方法和电视

技术领域

本发明涉及图像处理技术领域，尤其涉及一种运动目标跟踪方法和电视。

背景技术

随着图像技术发展，智能监控***已经普遍的应用到了生活中。智能监控***是采用图像处理和模式识别技术，通过数据处理功能过滤掉场景中没用的信息，然后对感兴趣的运动目标或非运动目标进行快速观察和分析，进而对这些目标进行检测、描述、识别和行为理解的技术，可以实现对监控场景中的目标智能的、实时准确的进行监控。目前，

现有技术中，经常使用智能监控***进行运动目标的检测，通过对运动目标的图像以及背景图像进行分析，进而实现运动目标的检测。

然而现有技术中，在视频图像中的运动目标出现遮挡、或者合并的时候，无法对多个运动目标进行分离，进而无法很好的去实现运动目标跟踪的目的。

发明内容

本发明提供一种运动目标跟踪方法和电视，用以解决现有技术中在视频图像中的运动目标出现遮挡、或者合并的时候，无法对多个运动目标进行分离，进而无法很好的去实现运动目标跟踪的目的的问题。

本发明的一方面是提供一种运动目标跟踪方法，包括：

采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；

针对每一个运动目标建立模型信息；

根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；

根据每一个运动目标的模型信息，确定各运动目标之间的权值；

根据各运动目标之间的权值，确定各运动目标之间的关联概率；

根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。

本发明的另一方面是提供一种电视，其特征在于，包括：

显示机芯、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)芯片以及液晶屏，所述FPGA芯片分别与所述显示机芯、所述液晶屏连接；

其中，所述FPGA芯片用于实现如上任一项所述的运动目标跟踪方法。

本发明的技术效果是：通过采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

附图说明

图1为本发明实施例一提供的运动目标跟踪方法的流程图；

图2为本发明实施例二提供的运动目标跟踪方法的流程图；

图3为本发明实施例三提供的运动目标跟踪装置的结构示意图；

图4为本发明实施例四提供的运动目标跟踪装置的结构示意图；

图5为本发明实施例五提供的电视的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的运动目标跟踪方法的流程图，如图1所示，本实施例提供的方法，包括：

步骤101、采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影。

其中，步骤101的具体实现方式为：针对视频图像中的每一个运动目标，确定运动目标的前景图像与背景区域之间的颜色夹角其中，X_d为运动目标的前景图像在第j个像素点的颜色向量，X_b为运动目标的背景区域在第j个像素点的颜色向量，其中，j为正整数；

针对视频图像中的每一个运动目标，若α<τ，则确定运动目标的第j个像素点为疑似阴影，其中，τ为常量；

针对视频图像中的每一个运动目标，若运动目标的第j个像素点满足则确定运动目标的第j个像素点为阴影，其中，(x,y)为第j个像素点的坐标，I^H(x,y)、I^S(x,y)、I^V(x,y)分别为运动目标的前景图像在第j个像素点的H、S、V分量，B^H(x,y)、B^S(x,y)、B^V(x,y)分别为运动目标的背景区域在第j个像素点的H、S、V分量。

在本实施例中，具体的，对于视频图像中的每一帧图像来说，可以首先建立一个背景区域，可以固定设置一个背景区域，可以动态的设置一个背景区域。通过背景区域与视频图像的每一帧的对比和计算，从而确定视频图像中的各个运动目标。

首先，需要去除视频图像中的各个运动目标的阴影，具体来说，可以采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影。

由于在视频图像中，运动目标的阴影色度改变的差值很小，因此阴影的颜色夹角也会很小，从而可以通过颜色夹角的大小来判断各像素点，是否为疑似阴影。具体来说，可以设定运动目标的前景图像在第j个像素点的颜色向量为X_d＝[H_j,S_j,V_j]，设定运动目标的背景区域在第j个像素点的颜色向量为X_b＝[H'_j,S'_j,V_j']，从而可以针对视频图像中的每一个运动目标，计算出运动目标的前景图像与背景区域之间的颜色夹角然后，设定一个常量τ，τ为自行选择的较小的数值，若α<τ，则可以先确定第j个像素点可能为阴影。

之后，判定疑似阴影的像素点是否为真实阴影，可以引入另外一个真实阴影的判决方法，针对视频图像中的每一个运动目标，若运动目标的第j个像素点满足就可以确定运动目标的第j个像素点为阴影。这里，(x,y)为第j个像素点的坐标，并且I^H(x,y)、I^S(x,y)、I^V(x,y)与B^H(x,y)、B^S(x,y)、B^V(x,y)分别表示坐标点(x,y)处像素输入值I(x,y)与背景像素值的H、S、V分量。

步骤102、针对每一个运动目标建立模型信息。

在本实施例中，具体的，需要针对每一个运动目标，去建立一个模型信息，这个模型信息，用于建立运动目标的跟踪窗口。

步骤103、根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口。

在本实施例中，具体的，根据每一个运动目标的模型信息，根据运动目标的大小自动的调整运动目标的跟踪窗口的大小，进而自适应更新运动目标的跟踪窗口。

步骤104、根据每一个运动目标的模型信息，确定各运动目标之间的权值。

在本实施例中，具体的，根据步骤103中计算出的每一个运动目标的模型信息，去计算各运动目标之间的权值。

步骤105、根据各运动目标之间的权值，确定各运动目标之间的关联概率。

在本实施例中，具体的，根据各运动目标之间的权值，确定各运动目标之间的关联概率，这里的关联概率分为不同的运动目标之间关联概率、以及同一运动目标在不同帧的关联概率。

步骤106、根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。

在本实施例中，具体的，在对各运动目标之间的关联概率进行计算之后，就可以计算出当前时刻的运动目标的状态预测值，从根据当前时刻的运动目标的状态预测值，对跟踪窗口下的运动目标进行跟踪维持。

本实施例通过采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

图2为本发明实施例二提供的运动目标跟踪方法的流程图，在实施例一的基础上，如图2所示，本实施例提供的方法，步骤102，具体包括：

针对每一个运动目标，确定运动目标在第i帧图像的观测目标概率分布函数其中，β为控制参数，X_m,i为第m个运动目标在第i帧视频图像的观测值，μ_m,i表示第m个目标在第i帧视频图像的均值向量；

针对每一个运动目标，确定运动目标在第i帧视频图像的J个背景概率函数，其中，第m个运动目标的第j个背景概率函数为s为状态空间的维数，Y_i代表像素点在第i帧视频图像中的像素值，表示第j个高斯模型在第i帧视频图像中的均值向量，其中，i、j、m、J为正整数；

针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数、以及运动目标在第i帧视频图像的J个背景概率函数，确定运动目标的相似度函数δ为常量；

针对每一个运动目标，根据运动目标的相似度函数，确定运动目标在第i帧视频图像的信息权值其中，N表示运动目标的总个数；

针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数，确定运动目标的模型信息

在本实施例中，具体的，针对每一个运动目标来说，假设第m个目标的第i帧观测目标概率分布函数为其中，β为控制参数，一般情况下可以β＝20；X_m,i为第m个运动目标在第i帧视频图像的观测值，μ_m,i表示第m个目标在第i帧视频图像的均值向量。

同时，建立北背景模型，其中，背景模型由混合高斯背景建模得到，然后，针对每一个运动目标，确定运动目标在第i帧视频图像的J个背景概率函数。其中，第m个运动目标的第j个背景概率函数为s为状态空间的维数，Y_i代表像素点在第i帧视频图像中的像素值，表示第j个高斯模型在第i帧视频图像中的均值向量，i、j、m、J都是正整数。

由于基于权值的模型统计信息只能体现运动目标前景与背景的状态特征上，从而不能描述出此时两者之间的区分度。针对以上问题，本发明提出一种特征相似函数方法，这个相似函数可以将运动目标统计信息划分到一个正值集区域，而背景的相关信息则被划分到负值集区域。针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数、以及运动目标在第i帧视频图像的J个背景概率函数，确定运动目标的相似度函数的表达方式为δ为常量；其中，数值δ被看做是一个很小的数值，一般情况下设置δ＝0.0001。相似度函数反应了运动目标前景图像与背景区域的状态特征相似度。

然后，将得到的正值集区域的相似度函数，即将R_m(i)>0时的相似度函数带入到如下式子中，从而可以得到第m个目标在第i帧图像的信息权值其中，N表示运动目标的总个数。

之后，可以针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数，确定运动目标的模型信息为

步骤103，具体包括：

步骤1031、针对每一个运动目标，确定运动目标初始的跟踪窗口。

其中，步骤1031的具体实现方式为：若运动目标变大，则确定跟踪窗口的长宽乘以1+ζ，其中，ζ为常量；若运动目标变小，则确定跟踪窗口的长宽乘以1-ζ。

在本实施例中，具体的，首先需要针对每一个运动目标，确定运动目标初始的跟踪窗口，即确定运动目标初始的前5个跟踪窗口所对应的模型信息G₁、G₂、G₃、G₄、G₅。

假设第i帧视频图像的模型信息为G₁，如果运动目标变大，则对跟踪窗口的长宽乘以1+ζ，若运动目标变小，则对跟踪窗口的长宽乘以1-ζ，从而运动目标的模型信息变为G₂，其中，ζ为常量，0≤ζ≤0.6；然后，以此类推，对于第n+M帧的视频图像的模型信息G₃、G₄、G₅。其中模型信息也与跟踪窗口对应，进而可以确定运动目标初始的跟踪窗口。

步骤1032、针对每一个运动目标，根据运动目标初始的跟踪窗口，确定跟踪窗口的尺寸变化比例其中，G₁、G₂、G₃、G₄、G₅分别为运动目标初始的前5个跟踪窗口对应的模型信息。

在本实施例中，具体的，针对每一个运动目标，根据运动目标初始的跟踪窗口，确定跟踪窗口的尺寸变化比例

其中跟踪窗口的尺寸变化比例q的作用，是减少背景对目标前景的影响，其中q与1的差值越大说明背景区域越复杂，并且当目标尺度变大时，q≥1，当尺度变小时，q≤1。

步骤1033、针对每一个运动目标，根据跟踪窗口的尺寸变化比例、以及运动目标在第i帧视频图像的信息权值，确定第m个目标在第i帧视频图像中的跟踪窗窗口的长H_i+1＝λ_m,iH_i(1+q)、和宽W_i+1＝λ_m.iW_i(1+q)，其中，λ_m.i为运动目标m在第i帧视频图像的信息权值。

在本实施例中，具体的，可以针对每一个运动目标，根据跟踪窗口的尺寸变化比例、以及运动目标在第i帧视频图像的信息权值，确定第m个目标在第i帧视频图像中的跟踪窗窗口的长为H_i+1＝λ_m,iH_i(1+q)、第m个目标在第i帧视频图像中的跟踪窗窗口的宽为W_i+1＝λ_m.iW_i(1+q)，其中，λ_m.i为运动目标m在第i帧视频图像的信息权值。

步骤104，具体包括：

针对每一个运动目标，确定运动目标的观测目标模型状态向量X＝[x,y,g,l]，其中，x,y,g,l分别为跟踪窗口的长、宽、颜色直方图、以及运动目标的模型信息；

针对每一个运动目标，根据运动目标的观测目标模型状态向量，确定运动目标的相邻两帧之间的关联概率函数

确定第m个运动目标和第n个运动目标在第i帧视频图像的大小与颜色直方图之间的第一关联概率函数并确定第m个运动目标和第n个运动目标的模型信息与LBP纹理值之间的第二关联概率函数其中，i为第i帧视频图像，i、m、n为正整数；

根据第一关联概率函数和第二关联概率函数，确定第m个运动目标和第n个运动目标之间的贝叶斯系数

根据贝叶斯系数，确定第i帧视频图像的权值其中，σ为高斯函数的方差。

在本实施例中，具体的，首先进行多运动目标模型的建立。为了增加目标跟踪的稳定性和准确性，首先针对每一个运动目标，确定出观测目标模型状态向量X＝[x,y,g,l]，其中x,y,g,l分别表示为跟踪窗口的长、宽、颜色直方图、运动目标的模型信息。

然后，针对每一个运动目标，就确定运动目标的相邻两帧之间的关联概率函数，其中，第m个目标相邻两帧之间的关联概率函数为

然后，设定第m个运动目标和第n个运动目标在第i帧视频图像的大小与颜色直方图之间的第一关联概率函数并设定第m个运动目标和第n个运动目标的模型信息与LBP纹理值之间的第二关联概率函数其中，i为第i帧视频图像，i、m、n都是正整数。

然后假设每个假设区域是s⁽ⁿ⁾，对于s⁽ⁿ⁾的每一个状态计算出贝叶斯Bhattacharyya系数再根据贝叶斯系数，确定第i帧视频图像的权值其中，σ为高斯函数的方差。

从而提供了同个目标相邻帧间的相关概率函数，以及不同目标间在同一帧的相关概率函数，进而为准确的数据关联提供保证。

步骤105，具体包括：

针对每一个运动目标，计算跟踪窗口矩阵Ω；

针对每一个运动目标，确定运动目标的联合概率数据关联的状态更新方程其中，X^m(i)代表数据关联中运动目标m在第i帧视频图像中的状态矢量，V^m(i+1)表示粒子滤波后新的联合信息，表示的是运动目标m在第i帧视频图像中的状态矢量预测值，并且p^m(i+1)为运动目标m的相邻两帧之间的关联概率函数；

针对每一个运动目标，根据跟踪窗口矩阵，确定关联概率其中，ω_i为第i帧视频图像的权值；

确定视频图像中未被关联的观测样本数目为

其中，针对每一个运动目标，计算跟踪窗口矩阵，包括：

针对每一个运动目标，若观测数据u落入到了运动目标m的跟踪窗口内，则矩阵值若观测数据u未落入运动目标m的跟踪窗口内，则矩阵值

针对每一个运动目标，根据矩阵值确定跟踪窗口矩阵为其中，N表示运动目标的总个数，M表示跟踪窗口更新的总数。

在本实施例中，具体的，然后需要进行关联矩阵与关联概率的确定。首先针对每一个运动目标，计算跟踪窗口矩阵。用来表示测量值i是否落入跟踪窗内的关联矩阵的矩阵值，当t＝0时，表示无目标，所有元素都是1，当t≠0时说明测量值落入跟踪窗内，接下来就计算每个测量值与其可能的各种源目标相关联的概率。然后，通过关联矩阵内粒子分布位置与跟踪窗的关系来确定确认矩阵，获得确认矩阵后就能推断出运动目标的各种关联概率。其中u表示观测数据，m表示运动目标，N表示运动目标的总个数，M表示跟踪窗口更新的总数。根据针对每一个运动目标，若观测数据u落入到了运动目标m的跟踪窗口内，则若观测数据u未落入运动目标m的跟踪窗口内，则进而确定跟踪窗口矩阵

接着，针对每一个运动目标，确定运动目标的联合概率数据关联的状态更新方程为其中，X^m(i)代表数据关联中运动目标m在第i帧视频图像中的状态矢量，V^m(i+1)表示粒子滤波后新的联合信息，表示的是运动目标m在第i帧视频图像中的状态矢量预测值，同时p^m(i+1)为运动目标m的相邻两帧之间的关联概率函数。联合概率数据关联算法考虑了所有观测数据与运动目标的关联关系。

针对每一个运动目标，根据跟踪窗口矩阵，确定关联概率其中，ω_i为第i帧视频图像的权值。

然后根据跟踪窗口矩阵Ω，确定视频图像中未被关联的观测样本数目为

步骤106，具体包括：

依据先验概率分布产生初始粒子点序列x^*(1)(m),x^*(2)(m),...x^*(z)(m)，其中，m表征第m个运动目标，z表示产生粒子点序列总数，z为正整数；

对后验概率分布进行采样，以确定样本值并计算接受概率

若α(X,X^*(z)(m))≥1，那么接受采样值X^(z)(m)＝X^*(z)(m)，并确定粒子权值为1/N，若α(X,X^*(z)(m))<1，则忽略采样值；

通过测量值，确定重要性权值其中，P(X^(z)(m)|X^*(z)(m))是数据关联中计算得到的关联概率，表示一个简单抽样的已知概率密度分布函数，i为第i帧视频图像；

通过更新的权值，确定状态估计方程以及协方差矩阵

在每隔N帧对视频图像采样一次之后，并将MN次迭代采样得到的M个粒子作为当前时刻的运动目标的状态预测值以根据运动目标的状态预测值对跟踪窗口下的运动目标进行跟踪维持。

在本实施例中，具体的，接下就可以进行运动目标的跟踪维持。可以采用滤波和预测的方式，进行运动目标的跟踪维持。本发明采用粒子滤波方法对运动目标进行滤波，为了增加粒子的多样性，重采样后引入了MCMC方法来提高滤波的估计精度和对粒子个数进行调整。

首先，初始化马尔科夫链和MCMC滤波器，从而构造一条马尔科夫链，同时设定采样中的粒子老化期B和采样帧数间隔N，并对马尔科夫链进行重要性采样，依据先验概率分布产生初始粒子点序列x^*(1)(m),x^*(2)(m),...x^*(z)(m)，z表示产生粒子点序列总数。

将建议分布定义为正态分布，对后验概率分布进行采样后获得样本值计算出接受概率α(X,X^*(z)(m))，其中如果α(X,X^*(z)(m))≥1，那么接受采样值X^*(z)(m)，即X^(z)(m)＝X^*(z)(m)，同时将粒子权值设置为1/N；若α(X,X^*(z)(m))<1，则将采样值忽略，保持原来采样点X^(z)(m)不变。

接着进行重要性采样，可以通过测量值可以计算得到重要性权值为其中，P(X^(z)(m)|X^*(z)(m))是数据关联中计算得到的关联概率，q(X^(z)(m),X^*(z)(m))表示一个简单抽样的已知概率密度分布函数，i为第i帧视频图像。

从而通过更新的权值，计算出状态估计方程以及协方差矩阵为

最后进行重采样，可以在每隔N帧对视频图像采样一次，并将MN次迭代采样得到的M个粒子作为当前时刻的目标状态的预测值进而根据运动目标的状态预测值对跟踪窗口下的运动目标进行跟踪维持。

本实施例通过采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。并且结合贝叶斯系数，能够使跟踪窗口既适合于运动目标的大小而进行变化，进而能够有效地对尺度变化较大的目标进行跟踪，提高了运动目标的跟踪的实时性；由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

图3为本发明实施例三提供的运动目标跟踪装置的结构示意图，如图3所示，本实施例提供的装置，包括：

阴影去除模块31，用于采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；

模型建立模块32，用于针对每一个运动目标建立模型信息；

窗口更新模块33，用于根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；

权值确定模块34，用于根据每一个运动目标的模型信息，确定各运动目标之间的权值；

关联模块35，用于根据各运动目标之间的权值，确定各运动目标之间的关联概率；

跟踪模块36，用于根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。

本实施例的运动目标跟踪装置可执行本发明实施例一提供的运动目标跟踪方法，其实现原理相类似，此处不再赘述。

本实施例通过采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

图4为本发明实施例四提供的运动目标跟踪装置的结构示意图，在实施例三的基础上，如图4所示，本实施例提供的装置，阴影去除模块31，具体用于：

针对视频图像中的每一个运动目标，确定运动目标的前景图像与背景区域之间的颜色夹角其中，X_d为运动目标的前景图像在第j个像素点的颜色向量，X_b为运动目标的背景区域在第j个像素点的颜色向量，其中，j为正整数；

针对视频图像中的每一个运动目标，若α<τ，则确定运动目标的第j个像素点为疑似阴影，其中，τ为常量；

针对视频图像中的每一个运动目标，若运动目标的第j个像素点满足则确定运动目标的第j个像素点为阴影，其中，(x,y)为第j个像素点的坐标，I^H(x,y)、I^S(x,y)、I^V(x,y)分别为运动目标的前景图像在第j个像素点的H、S、V分量，B^H(x,y)、B^S(x,y)、B^V(x,y)分别为运动目标的背景区域在第j个像素点的H、S、V分量。

模型建立模块32，具体用于：

针对每一个运动目标，确定运动目标在第i帧图像的观测目标概率分布函数其中，β为控制参数，X_m,i为第m个运动目标在第i帧视频图像的观测值，μ_m,i表示第m个目标在第i帧视频图像的均值向量；

针对每一个运动目标，确定运动目标在第i帧视频图像的J个背景概率函数，其中，第m个运动目标的第j个背景概率函数为s为状态空间的维数，Y_i代表像素点在第i帧视频图像中的像素值，表示第j个高斯模型在第i帧视频图像中的均值向量，其中，i、j、m、J为正整数；

针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数、以及运动目标在第i帧视频图像的J个背景概率函数，确定运动目标的相似度函数δ为常量；

针对每一个运动目标，根据运动目标的相似度函数，确定运动目标在第i帧视频图像的信息权值其中，N表示运动目标的总个数；

针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数，确定运动目标的模型信息

窗口更新模块33，包括：

初始子模块331，用于针对每一个运动目标，确定运动目标初始的跟踪窗口；

比例确定子模块332，用于针对每一个运动目标，根据运动目标初始的跟踪窗口，确定跟踪窗口的尺寸变化比例其中，G₁、G₂、G₃、G₄、G₅分别为运动目标初始的前5个跟踪窗口对应的模型信息；

窗口确定子模块333，用于针对每一个运动目标，根据跟踪窗口的尺寸变化比例、以及运动目标在第i帧视频图像的信息权值，确定第m个目标在第i帧视频图像中的跟踪窗窗口的长H_i+1＝λ_m,iH_i(1+q)、和宽W_i+1＝λ_m.iW_i(1+q)，其中，λ_m.i为运动目标m在第i帧视频图像的信息权值。

初始子模块331，具体用于：

若运动目标变大，则确定跟踪窗口的长宽乘以1+ζ，其中，ζ为常量；

若运动目标变小，则确定跟踪窗口的长宽乘以1-ζ。

权值确定模块34，具体用于：

针对每一个运动目标，确定运动目标的观测目标模型状态向量X＝[x,y,g,l]，其中，x,y,g,l分别为跟踪窗口的长、宽、颜色直方图、以及运动目标的模型信息；

针对每一个运动目标，根据运动目标的观测目标模型状态向量，确定运动目标的相邻两帧之间的关联概率函数

确定第m个运动目标和第n个运动目标在第i帧视频图像的大小与颜色直方图之间的第一关联概率函数并确定第m个运动目标和第n个运动目标的模型信息与LBP纹理值之间的第二关联概率函数其中，i为第i帧视频图像，i、m、n为正整数；

根据第一关联概率函数和第二关联概率函数，确定第m个运动目标和第n个运动目标之间的贝叶斯系数

根据贝叶斯系数，确定第i帧视频图像的权值其中，σ为高斯函数的方差。

关联模块35，包括：

计算子模块351，用于针对每一个运动目标，计算跟踪窗口矩阵Ω；

更新确定子模块352，用于针对每一个运动目标，确定运动目标的联合概率数据关联的状态更新方程其中，X^m(i)代表数据关联中运动目标m在第i帧视频图像中的状态矢量，V^m(i+1)表示粒子滤波后新的联合信息，表示的是运动目标m在第i帧视频图像中的状态矢量预测值，并且p^m(i+1)为运动目标m的相邻两帧之间的关联概率函数；

概率确定子模块353，用于用于针对每一个运动目标，根据跟踪窗口矩阵，确定关联概率其中，ω_i为第i帧视频图像的权值；

样本确定子模块354，用于确定视频图像中未被关联的观测样本数目为

计算子模块351，具体用于：

针对每一个运动目标，若观测数据u落入到了运动目标m的跟踪窗口内，则矩阵值若观测数据u未落入运动目标m的跟踪窗口内，则矩阵值

针对每一个运动目标，根据矩阵值确定跟踪窗口矩阵为其中，N表示运动目标的总个数，M表示跟踪窗口更新的总数。

跟踪模块36，具体用于：

依据先验概率分布产生初始粒子点序列x^*(1)(m),x^*(2)(m),...x^*(z)(m)，其中，m表征第m个运动目标，z表示产生粒子点序列总数，z为正整数；

对后验概率分布进行采样，以确定样本值并计算接受概率

若α(X,X^*(z)(m))≥1，那么接受采样值X^(z)(m)＝X^*(z)(m)，并确定粒子权值为1/N，若α(X,X^*(z)(m))<1，则忽略采样值；

通过测量值，确定重要性权值其中，P(X^(z)(m)|X^*(z)(m))是数据关联中计算得到的关联概率，表示一个简单抽样的已知概率密度分布函数，i为第i帧视频图像；

通过更新的权值，确定状态估计方程以及协方差矩阵

在每隔N帧对视频图像采样一次之后，并将MN次迭代采样得到的M个粒子作为当前时刻的运动目标的状态预测值以根据运动目标的状态预测值对跟踪窗口下的运动目标进行跟踪维持。

本实施例的运动目标跟踪装置可执行本发明实施例一、实施例二提供的运动目标跟踪方法，其实现原理相类似，此处不再赘述。

本实施例通过采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。并且结合贝叶斯系数，能够使跟踪窗口既适合于运动目标的大小而进行变化，进而能够有效地对尺度变化较大的目标进行跟踪，提高了运动目标的跟踪的实时性；由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

图5为本发明实施例五提供的电视的结构示意图，如图5所示，本实施例提供的电视，包括：

显示机芯51、FPGA芯片52以及液晶屏53，FPGA芯片52分别与显示机芯51、液晶屏53连接；

其中，FPGA芯片52中设置有上述实施例中提供的运动目标跟踪装置。

在本实施例中，具体的，电视中设置有显示机芯、FPGA芯片以及液晶屏，FPGA芯片分别与显示机芯、液晶屏连接。可以将实施例一和实施例二提供的运动目标跟踪装置，设置在FPGA芯片中。

其中，使用FPGA进行方法的硬件实现，可采用一款基于EP2C70芯片的多媒体处理平台***DE2-70来进行；所选用的多媒体处理平台***具有大规模和高速度的可编程逻辑资源，需要大容量的存储器资源去存储高分辨率的图像数据，需要高速度的数据传输通道去传输高带宽的码流，并且能支持多种视频输入输出接口。

本实施例的运动目标跟踪装置可执行本发明实施例三、实施例四提供的运动目标跟踪装置，其实现原理相类似，此处不再赘述。

本实施例在电视中设置实施例三、实施例四提供的运动目标跟踪装置，通过采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；针对每一个运动目标建立模型信息；根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；根据每一个运动目标的模型信息，确定各运动目标之间的权值；根据各运动目标之间的权值，确定各运动目标之间的关联概率；根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。并且结合贝叶斯系数，能够使跟踪窗口既适合于运动目标的大小而进行变化，进而能够有效地对尺度变化较大的目标进行跟踪，提高了运动目标的跟踪的实时性；由于建立起了各运动目标之间的关联概率，从而可以对各遮挡、合并的运动目标进行分离，可以对多个运动目标进行分离，进而可以对视频图像中的运动目标进行跟踪维持，很好的去实运动目标跟踪的目的。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种运动目标跟踪方法，其特征在于，包括：

采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影；

针对每一个运动目标建立模型信息；

根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口；

根据每一个运动目标的模型信息，确定各运动目标之间的权值；

根据各运动目标之间的权值，确定各运动目标之间的关联概率；

根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持。

2.根据权利要求1所述的方法，其特征在于，所述采用改进混合高斯背景建模的阴影去除方法，去除视频图像中的运动目标的阴影，包括：

针对视频图像中的每一个运动目标，确定运动目标的前景图像与背景区域之间的颜色夹角其中，X_d为运动目标的前景图像在第j个像素点的颜色向量，X_b为运动目标的背景区域在第j个像素点的颜色向量，其中，j为正整数；

针对视频图像中的每一个运动目标，若α<τ，则确定运动目标的第j个像素点为疑似阴影，其中，τ为常量；

针对视频图像中的每一个运动目标，若运动目标的第j个像素点满足则确定运动目标的第j个像素点为阴影，其中，(x,y)为第j个像素点的坐标，I^H(x,y)、I^S(x,y)、I^V(x,y)分别为运动目标的前景图像在第j个像素点的H、S、V分量，B^H(x,y)、B^S(x,y)、B^V(x,y)分别为运动目标的背景区域在第j个像素点的H、S、V分量。

3.根据权利要求1所述的方法，其特征在于，所述针对每一个运动目标建立模型信息，包括：

针对每一个运动目标，确定运动目标在第i帧图像的观测目标概率分布函数其中，β为控制参数，X_m,i为第m个运动目标在第i帧视频图像的观测值，μ_m,i表示第m个目标在第i帧视频图像的均值向量；

针对每一个运动目标，确定运动目标在第i帧视频图像的J个背景概率函数，其中，第m个运动目标的第j个背景概率函数为s为状态空间的维数，Y_i代表像素点在第i帧视频图像中的像素值，表示第j个高斯模型在第i帧视频图像中的均值向量，其中，i、j、m、J为正整数；

针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数、以及运动目标在第i帧视频图像的J个背景概率函数，确定运动目标的相似度函数δ为常量；

针对每一个运动目标，根据运动目标的相似度函数，确定运动目标在第i帧视频图像的信息权值其中，N表示运动目标的总个数；

针对每一个运动目标，根据运动目标在第i帧视频图像的观测目标概率分布函数，确定运动目标的模型信息

4.根据权利要求3所述的方法，其特征在于，所述根据每一个运动目标的模型信息，自适应更新运动目标的跟踪窗口，包括：

针对每一个运动目标，确定运动目标初始的跟踪窗口；

针对每一个运动目标，根据运动目标初始的跟踪窗口，确定跟踪窗口的尺寸变化比例其中，G₁、G₂、G₃、G₄、G₅分别为运动目标初始的前5个跟踪窗口对应的模型信息；

针对每一个运动目标，根据跟踪窗口的尺寸变化比例、以及运动目标在第i帧视频图像的信息权值，确定第m个目标在第i帧视频图像中的跟踪窗窗口的长H_i+1＝λ_m,iH_i(1+q)、和宽W_i+1＝λ_m.iW_i(1+q)，其中，λ_m.i为运动目标m在第i帧视频图像的信息权值。

5.根据权利要求4所述的方法，其特征在于，所述针对每一个运动目标，确定运动目标初始的跟踪窗口，包括：

若运动目标变大，则确定跟踪窗口的长宽乘以1+ζ，其中，ζ为常量；

若运动目标变小，则确定跟踪窗口的长宽乘以1-ζ。

6.根据权利要求1所述的方法，其特征在于，所述根据每一个运动目标的模型信息，确定各运动目标之间的权值，包括：

针对每一个运动目标，确定运动目标的观测目标模型状态向量X＝[x,y,g,l]，其中，x,y,g,l分别为跟踪窗口的长、宽、颜色直方图、以及运动目标的模型信息；

针对每一个运动目标，根据运动目标的观测目标模型状态向量，确定运动目标的相邻两帧之间的关联概率函数

确定第m个运动目标和第n个运动目标在第i帧视频图像的大小与颜色直方图之间的第一关联概率函数并确定第m个运动目标和第n个运动目标的模型信息与LBP纹理值之间的第二关联概率函数其中，i为第i帧视频图像，i、m、n为正整数；

根据第一关联概率函数和第二关联概率函数，确定第m个运动目标和第n个运动目标之间的贝叶斯系数

根据贝叶斯系数，确定第i帧视频图像的权值其中，σ为高斯函数的方差。

7.根据权利要求1所述的方法，其特征在于，所述根据各运动目标之间的权值，确定各运动目标之间的关联概率，包括：

针对每一个运动目标，计算跟踪窗口矩阵Ω；

针对每一个运动目标，确定运动目标的联合概率数据关联的状态更新方程其中，X^m(i)代表数据关联中运动目标m在第i帧视频图像中的状态矢量，V^m(i+1)表示粒子滤波后新的联合信息，表示的是运动目标m在第i帧视频图像中的状态矢量预测值，并且p^m(i+1)为运动目标m的相邻两帧之间的关联概率函数；

针对每一个运动目标，根据跟踪窗口矩阵，确定关联概率其中，ω_i为第i帧视频图像的权值；

确定视频图像中未被关联的观测样本数目为

8.根据权利要求7所述的方法，其特征在于，所述针对每一个运动目标，计算跟踪窗口矩阵，包括：

针对每一个运动目标，若观测数据u落入到了运动目标m的跟踪窗口内，则矩阵值若观测数据u未落入运动目标m的跟踪窗口内，则矩阵值

针对每一个运动目标，根据矩阵值确定跟踪窗口矩阵为其中，N表示运动目标的总个数，M表示跟踪窗口更新的总数。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述根据各运动目标之间的关联概率，对跟踪窗口下的运动目标进行跟踪维持，包括：

依据先验概率分布产生初始粒子点序列x^*(1)(m),x^*(2)(m),...x^*(z)(m)，其中，m表征第m个运动目标，z表示产生粒子点序列总数，z为正整数；

对后验概率分布进行采样，以确定样本值并计算接受概率

若α(X,X^*(z)(m))≥1，那么接受采样值X^(z)(m)＝X^*(z)(m)，并确定粒子权值为1/N，若α(X,X^*(z)(m))<1，则忽略采样值；

通过测量值，确定重要性权值其中，P(X^(z)(m)|X^*(z)(m))是数据关联中计算得到的关联概率，q(X^(z)(m),X^*(z)(m))表示一个简单抽样的已知概率密度分布函数，i为第i帧视频图像；

通过更新的权值，确定状态估计方程以及协方差矩阵

在每隔N帧对视频图像采样一次之后，并将MN次迭代采样得到的M个粒子作为当前时刻的运动目标的状态预测值以根据运动目标的状态预测值对跟踪窗口下的运动目标进行跟踪维持。

10.一种电视，其特征在于，包括：

显示机芯、现场可编程门阵列FPGA芯片以及液晶屏，所述FPGA芯片分别与所述显示机芯、所述液晶屏连接；

其中，所述FPGA芯片用于实现权利要求1-9任一项所述的运动目标跟踪方法。