CN107392936B - 一种基于meanshift的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于meanshift的目标跟踪方法，包括以下步骤：1，目标图像初始化，选定包含被跟踪目标矩形A₁的初始位置；2，对目标矩形A_n的所有像素进行背景判断；3，计算目标矩形A_n的概率密度q_u；4，运动目标在第n+1帧的候选目标区域，计算候选目标区域的概率密度p_u；5，计算候选目标区域内的每个像素的权重ω_i；6，计算候选目标区域的新位置y_new；7，如果||y₀‑y_new||＜ε或者迭代次数大于阈值，则停止迭代；否则继续迭代计算直到满足终止条件的候选目标位置。本发明基于meanshift的目标跟踪方法，对目标框里的像素进行判断，是否属于背景，如果属于背景，则不参与后续的计算，从而对真正的运动目标更好的建模，优化跟踪效果。

Description

一种基于meanshift的目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于meanshift的目标跟踪方法。

背景技术

在meanshift目标跟踪过程中，通常是对目标所在的矩形框中所有的像素进行建模。这样就带来一个问题，矩形框中的像素不完全是目标的，也存在一部分背景，背景的信息也包括在目标建模里了。特别是矩形框如果选择的过大、或背景和目标的颜色差异过大时，目标建模存在相当大的误差。如何对真正的运动目标更好的建模是一个影响跟踪效果的关键步骤。

发明内容

本发明的目的在于提供一种基于meanshift的目标跟踪方法，通过背景建模获得矩阵框里面的像素是否属于背景，如果属于背景，则不参与后续的计算，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于meanshift的目标跟踪方法，通过摄像工具，对目标进行视频拍摄，得到目标的视频序列图像，其特征在于，所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，选定包含被跟踪目标矩形A₁的初始位置；

步骤2，记第n帧图像的目标矩形A_n，对目标矩形的所有像素进行背景判断，如果判为背景，则指示函数BI_n(x)记为1，否则为0；

步骤3，对第n帧图像的目标矩形A_n，利用指示函数BI_n(x)信息，计算目标矩形的概率密度q_u；

步骤4，运动目标在第n+1帧的候选目标区域，用第n帧图像的目标矩形位置y₀计算候选目标区域的概率密度p_u；

步骤5，计算候选目标区域内的每个像素的权重ω_i；

步骤6，计算候选目标区域的新位置y_new；

步骤7，如果||y₀-y_new||＜ε或者迭代次数大于阈值，则停止迭代；否则令y₀＝y_new并转向步骤4，继续迭代计算直到满足终止条件的候选目标位置。

作为进一步改进，所述步骤2中，记第n帧图像的目标矩形A_n，对目标矩形的所有像素进行背景判断，如果判为背景，则指示函数BI_n(x)记为1，否则为0，具体包括以下步骤：

步骤21，判断目标矩形A_n中边缘部分的像素，记目标矩形A_n大小为w×d，目标矩形A_n的4个边缘为需要判断的像素区域，边缘的宽度h，边缘位置1、2、3、4为顺时针排列，边缘位置1位于目标矩形A_n正上方；

目标矩形A_n中心位置的像素默认属于目标，也即中心像素的指示函数BI_n(x)直接设置为0；

步骤22，从目标矩形A_n左上角的顶点A开始，选择以A为左顶点，大小为3×3的矩形a，该矩阵包括9个像素，用高斯模型对这9个像素的灰度分布进行拟合，计算均值μ和方差σ²：

其中gray(x)表示像素的灰度值；

对位于边缘位置1和边缘位置4里面所有的像素通过计算属于高斯模型的概率来判断是否属于背景，公式如下：

其中f(x)表示像素(x)属于高斯模型的概率，因此指示函数BI_n(x)可以用如下公式计算：

用上述方法可以对边缘位置1和边缘位置4里面所有的像素进行判定，获得对应的指示函数BI_n(x)；

步骤23，与步骤22同理，从目标矩形A_n右上角的顶点B出发，判断边缘位置1和边缘位置2里面所有的像素，若边缘位置1中的某一像素在步骤22中已判断为背景时，此步骤省略该像素的判断；

步骤24，与步骤22同理，从目标矩形A_n右下角的顶点D出发，判断边缘位置2和边缘位置3的像素，若边缘位置2中的某一像素在步骤23中已判断为背景时，此步骤省略该像素的判断；

步骤25，与步骤22同理，从目标矩形A_n左下角的顶点C出发，判断边缘位置3和边缘位置4的像素，若边缘位置3中的某一像素在步骤24中已判断为背景时，此步骤省略该像素的判断；

由此，目标矩形A_n中所有像素的指示函数BI_n(x)均计算获得。

作为进一步改进，所述步骤3中，对第n帧图像的目标矩形A_n，利用指示函数BI_n(x)信息，计算目标矩形的概率密度q_u，具体包括以下内容：

选择灰度信息作为Mean Shift***的特征空间，统计特征空间的灰度直方图，将特征空间分成m＝32份，每份记为特征空间的一个特征值，记x0为目标模板区域的中心位置坐标，设{x_i},i＝1,L,n为目标模板区域内所有的不属于背景的像素位置，也即它们的指示函数BI_n(x,y)值均为0，则基于灰度特征u＝1,L,m的目标模板的概率密度函数的计算公式如下：

其中C_q是目标模板的归一化常数，

K(g)是核函数。

作为进一步改进，所述步骤4中，运动目标在第n+1帧的候选目标区域，用第n帧图像的目标矩形位置y₀计算候选目标区域的概率密度p_u，具体包括以下内容：

用前一帧即第n帧图像中目标模板的位置开始计算，设候选目标区域中心为y₀，该区域中与前一帧像素{x_i},i＝1,L,n位置对应的各像素用{y_i},i＝1,L,n表示，与目标模板的概率密度函数计算方式相同，可以得到候选区域的概率密度函数：

作为进一步改进，所述步骤5中，计算候选目标区域内的每个像素的权重ω_i，

作为进一步改进，所述步骤6，计算候选目标区域的新位置y_new，具体包括以下内容：

通过Bhattacharyya系数来衡量目标模板和候选目标区域对应的直方图之间的相似性，以两个直方图的相似性最大为原则，使搜索窗口沿密度增加最大的方向移动到目标的真实位置；

其中q_u为目标模板，p_u为候选目标模板，Bhattacharyya系数定义如下：

将

经过泰勒级数展开后求导，得到候选目标区域中心位置的更新公式：

其中g(x)＝-k′(x)，ω_i为每个像素的权重。

本发明的有益效果：针对普通的Meanshift不考虑目标框里的像素是否属于背景，直接用目标框里的所有像素参与后续计算。本发明基于meanshift的目标跟踪方法，对目标框里的像素进行判断，是否属于背景，如果属于背景，则不参与后续的计算，从而对真正的运动目标更好的建模，优化跟踪效果。

下面结合附图与具体实施方式，对本发明进一步详细说明。

附图说明

图1为基于meanshift的目标跟踪方法的流程图；

图2为实施例2的步骤2目标矩形A_n的结构示意图；

具体实施方式

实施例1，参见图1，本实施例提供的基于meanshift的目标跟踪方法，通过摄像工具，对目标进行视频拍摄，得到目标的视频序列图像{P_n(x,y)|n＝1,2,L N}，所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，选定包含被跟踪目标矩形A₁的初始位置；

步骤2，记第n帧图像的目标矩形A_n，对目标矩形的所有像素进行背景判断，如果判为背景，则指示函数BI_n(x)记为1，否则为0；

步骤3，对第n帧图像的目标矩形A_n，利用指示函数BI_n(x)信息，计算目标矩形的概率密度q_u；

步骤4，运动目标在第n+1帧的候选目标区域，用第n帧图像的目标矩形位置y₀计算候选目标区域的概率密度p_u；

步骤5，计算候选目标区域内的每个像素的权重ω_i；

步骤6，计算候选目标区域的新位置y_new；

步骤7，如果||y₀-y_new||＜ε或者迭代次数大于阈值，则停止迭代；否则令y₀＝y_new并转向步骤4，继续迭代计算直到满足终止条件的候选目标位置。

实施例2，参见图1～2，本实施例提供的基于meanshift的目标跟踪方法，以相邻两帧图像第n(≥1)帧和第n+1帧为例，详细介绍如何用meanshift的思想进行目标跟踪，也即根据第n帧的目标矩形的位置，计算第n+1帧的跟踪矩形的位置。

首先通过摄像工具，对目标进行视频拍摄，得到目标的视频序列图像{Pn(x,y)|n＝1,2,L N}，所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，手动选定包含被跟踪目标矩形A₁的初始位置；

步骤2，记第n帧图像的目标矩形A_n，对目标矩形的所有像素进行背景判断，如果判为背景，则指示函数BI_n(x)记为1，否则为0，具体包括以下步骤：

步骤21，判断目标矩形A_n中边缘部分的像素，如图2所示，记目标矩形A_n大小为w×d，目标矩形A_n的4个边缘为需要判断的像素区域，边缘的宽度h，h取值10，边缘位置1、2、3、4为顺时针排列，边缘位置1位于目标矩形A_n正上方；

目标矩形A_n中心位置的像素默认属于目标，也即中心像素的指示函数BI_n(x)直接设置为0；

步骤22，从目标矩形A_n左上角的顶点A开始，选择以A为左顶点，大小为3×3的矩形a，该矩阵包括9个像素，用高斯模型对这9个像素的灰度分布进行拟合，计算均值μ和方差σ²：

其中gray(x)表示像素的灰度值；

对位于边缘位置1和边缘位置4里面所有的像素通过计算属于高斯模型的概率来判断是否属于背景，公式如下：

其中f(x)表示像素(x)属于高斯模型的概率，因此指示函数BI_n(x)可以用如下公式计算：

用上述方法可以对边缘位置1和边缘位置4里面所有的像素进行判定，获得对应的指示函数BI_n(x)；

步骤23，与步骤22同理，从目标矩形A_n右上角的顶点B出发，判断边缘位置1和边缘位置2里面所有的像素，若边缘位置1中的某一像素在步骤22中已判断为背景时，此步骤省略该像素的判断；

步骤24，与步骤22同理，从目标矩形A_n右下角的顶点D出发，判断边缘位置2和边缘位置3的像素，若边缘位置2中的某一像素在步骤23中已判断为背景时，此步骤省略该像素的判断；

步骤25，与步骤22同理，从目标矩形A_n左下角的顶点C出发，判断边缘位置3和边缘位置4的像素，若边缘位置3中的某一像素在步骤24中已判断为背景时，此步骤省略该像素的判断；

由此，目标矩形A_n中所有像素的指示函数BI_n(x)均计算获得；

步骤3，对第n帧图像的目标矩形A_n，利用指示函数BI_n(x)信息，计算目标矩形的概率密度q_u；具体包括以下内容：

选择灰度信息作为Mean Shift***的特征空间，统计特征空间的灰度直方图，将特征空间分成m＝32份，每份记为特征空间的一个特征值，记x⁰为目标模板区域的中心位置坐标，设{x_i},i＝1,L,n为目标模板区域内所有的不属于背景的像素位置，也即它们的指示函数BI_n(x,y)值均为0，则基于灰度特征u＝1,L,m的目标模板的概率密度函数的计算公式如下：

其中C_q是目标模板的归一化常数，

K(g)是核函数。

K(g)核函数用于考虑遮挡或背景干扰的影响，给靠近目标中心位置的像素赋予较大的权值，而远离目标模板中心位置的像素赋予较小的权值，以此来区分目标区域内不同位置处的像素在估计目标概率密度函数中所做的贡献，本实施例K(g)核函数选择高斯核函数

其中h是核函数带宽，δ(x)为Kronecker delta函数，用于判断目标区域中像素x_i的灰度值是否属于第u个单元的颜色索引值，等于为1，否则为0；

步骤4，运动目标在第n+1帧的候选目标区域，用第n帧图像的目标矩形位置y₀计算候选目标区域的概率密度p_u；具体包括以下内容：

用前一帧即第n帧图像中目标模板的位置开始计算，设候选目标区域中心为y₀，该区域中与前一帧像素{x_i},i＝1,L,n位置对应的各像素用{y_i},i＝1,L,n表示，与目标模板的概率密度函数计算方式相同，可以得到候选区域的概率密度函数：

步骤5，计算候选目标区域内的每个像素的权重ω_i；

步骤6，计算候选目标区域的新位置y_new；具体包括以下内容：

通过Bhattacharyya系数来衡量目标模板和候选目标区域对应的直方图之间的相似性，以两个直方图的相似性最大为原则，使搜索窗口沿密度增加最大的方向移动到目标的真实位置；

其中q_u为目标模板，p_u为候选目标模板，Bhattacharyya系数定义如下：

将

经过泰勒级数展开后求导，得到候选目标区域中心位置的更新公式：

其中g(x)＝-k′(x)，ω_i为每个像素的权重；

步骤7，如果||y₀-y_new||＜ε或者迭代次数大于阈值，则停止迭代；否则令y₀＝y_new并转向步骤4，继续迭代计算直到满足终止条件的候选目标位置。

相对于普通的Meanshift直接用目标框里的所有像素参与后续计算的方式。本发明基于meanshift的目标跟踪方法，对目标框里的像素进行判断，是否属于背景，如果属于背景，则不参与后续的计算，从而对真正的运动目标更好的建模，优化跟踪效果。

本发明并不限于上述实施方式，采用与本发明上述实施例相同或近似方法，而得到的其他基于meanshift的目标跟踪方法，均在本发明的保护范围之内。

Claims (5)

1.一种基于meanshift的目标跟踪方法，通过摄像工具，对目标进行视频拍摄，得到目标的视频序列图像，其特征在于，所述目标跟踪方法包括以下步骤：

步骤1，目标图像初始化，选定包含被跟踪目标矩形A₁的初始位置；

步骤2，记第n帧图像的目标矩形A_n，对目标矩形的所有像素进行背景判断，如果判为背景，则指示函数BI_n(x)记为1，否则为0；

步骤3，在指示函数BI_n(x)记为0时，对第n帧图像的目标矩形A_n，利用指示函数BI_n(x)信息，计算目标矩形的概率密度q_u；

步骤4，运动目标在第n+1帧的候选目标区域，用第n帧图像的目标矩形位置y₀计算候选目标区域的概率密度p_u；

步骤5，计算候选目标区域内的每个像素的权重ω_i；

步骤6，计算候选目标区域的新位置y_new；

步骤7，如果||y₀-y_new||＜ε或者迭代次数大于阈值，则停止迭代；否则令y₀＝y_new并转向步骤4，继续迭代计算直到满足终止条件的候选目标位置；

所述步骤2中，记第n帧图像的目标矩形A_n，对目标矩形的所有像素进行背景判断，如果判为背景，则指示函数BI_n(x)记为1，否则为0，具体包括以下步骤：

步骤21，判断目标矩形A_n中边缘部分的像素，记目标矩形A_n大小为w×d，目标矩形A_n的4个边缘为需要判断的像素区域，边缘的宽度h，边缘位置1、2、3、4为顺时针排列，边缘位置1位于目标矩形A_n正上方；

目标矩形A_n中心位置的像素默认属于目标，也即中心像素的指示函数BI_n(x)直接设置为0；

步骤22，从目标矩形A_n左上角的顶点A开始，选择以A为左顶点，大小为3×3的矩形a，该矩阵包括9个像素，用高斯模型对这9个像素的灰度分布进行拟合，计算均值μ和方差σ²：

其中gray(x)表示像素的灰度值；

对位于边缘位置1和边缘位置4里面所有的像素通过计算属于高斯模型的概率来判断是否属于背景，公式如下：

其中f(x)表示像素(x)属于高斯模型的概率，指示函数BI_n(x)用如下公式计算：

对边缘位置1和边缘位置4里面所有的像素进行判定，获得对应的指示函数BI_n(x)；

步骤23，与步骤22同理，从目标矩形A_n右上角的顶点B出发，判断边缘位置1和边缘位置2里面所有的像素，若边缘位置1中的某一像素在步骤22中已判断为背景时，此步骤省略该像素的判断；

步骤24，与步骤22同理，从目标矩形A_n右下角的顶点D出发，判断边缘位置2和边缘位置3的像素，若边缘位置2中的某一像素在步骤23中已判断为背景时，此步骤省略该像素的判断；

步骤25，与步骤22同理，从目标矩形A_n左下角的顶点C出发，判断边缘位置3和边缘位置4的像素，若边缘位置3中的某一像素在步骤24中已判断为背景时，此步骤省略该像素的判断；

由此，目标矩形A_n中所有像素的指示函数BI_n(x)均计算获得。

2.根据权利要求1所述的基于meanshift的目标跟踪方法，其特征在于，所述步骤3中，对第n帧图像的目标矩形A_n，利用指示函数BI_n(x)信息，计算目标矩形的概率密度q_u，具体包括以下内容：

选择灰度信息作为Mean Shift***的特征空间，统计特征空间的灰度直方图，将特征空间分成m＝32份，每份记为特征空间的一个特征值，记x₀为目标模板区域的中心位置坐标，设{x_i},i＝1,…,n为目标模板区域内所有的不属于背景的像素位置，也即它们的指示函数BI_n(x,y)值均为0，则基于灰度特征u＝1,…,m的目标模板的概率密度函数的计算公式为：

其中C_q是目标模板的归一化常数，

k(g)是核函数，h是核函数带宽。

3.根据权利要求2所述的基于meanshift的目标跟踪方法，其特征在于，所述步骤4中，运动目标在第n+1帧的候选目标区域，用第n帧图像的目标矩形位置y₀计算候选目标区域的概率密度p_u，具体包括以下内容：

用前一帧即第n帧图像中目标模板的位置开始计算，设候选目标区域中心为y₀，该区域中与前一帧像素{x_i},i＝1,…,n位置对应的各像素用{y_i},i＝1,…,n表示，与目标模板的概率密度函数计算方式相同，得到候选区域的概率密度函数：

4.根据权利要求3所述的基于meanshift的目标跟踪方法，其特征在于，所述步骤5中，计算候选目标区域内的每个像素的权重ω_i，

5.根据权利要求4所述的基于meanshift的目标跟踪方法，其特征在于，所述步骤6，计算候选目标区域的新位置y_new，具体包括以下内容：

通过Bhattacharyya系数来衡量目标模板和候选目标区域对应的直方图之间的相似性，以两个直方图的相似性最大为原则，使搜索窗口沿密度增加最大的方向移动到目标的真实位置；

其中q_u为目标模板，p_u为候选目标模板，Bhattacharyya系数为：

将

经过泰勒级数展开后求导，得到候选目标区域中心位置的更新公式：

其中g(x)＝-k′(x)，ω_i为每个像素的权重。

Images