CN101923717B - 一种对快速运动目标的特征点准确跟踪的方法 - Google Patents

Abstract

本发明属于视频以及图像处理技术，具体涉及一种对快速运动目标的特征点准确跟踪的方法。该方法在t-1时刻在跟踪目标选择矩形区域中根据特征矩阵选择M个特征点，在t时刻对M个特征点使用KLT光流矢量公式迭代求得最优解，得到所有特征点在当前帧的新位置；如果无法求得最优解，则在跟踪目标搜索矩形区域内，使用棋盘格对所有特征点进行近似位置估计，得到新位置。本发明所提供的方法可以先找到近似位置，再通过光流矢量计算公式求解最佳位置；使用棋盘格划分搜索区域，既能大大提高节省搜索时间，又能搜索到与跟踪目标灰度变化接近的近似位置。该方法不会出现特征点跟踪丢失的情况，非常适用于快速运动目标的特征点跟踪。

Description

一种对快速运动目标的特征点准确跟踪的方法

技术领域

本发明属于视频以及图像处理技术，具体涉及一种对快速运动目标的特征点准确跟踪的方法。

背景技术

在图像/视频后期处理软件中，对运动图像的像素特征区域进行跟踪，跟踪数据可以用来控制其它物体的运动和稳定运动物体，这有广泛的需求。使用KLT光流特征点跟踪方法可以对特征点进行跟踪，KLT光流特征点跟踪算法通常在参考帧中选择一组特征点，假设特征点纹理在帧间保持不变，然后通过局部匹配搜索完成跟踪任务。Kanade-Lucas-Tomasi(KLT)算法采用图像灰度差的平方和(SSD)作为特征点的匹配准则。具体的KLT特征点跟踪算法可以参阅：B_D_Lucas and T_Kanade_An iterative image registration technique withan application tostereo vision_IJCAI_1981。

但是，使用现有的KLT光流特征点跟踪算法对快速目标进行跟踪时，很容易由于亮度变化的不连续，导致特征点跟踪丢失。因此，有必要对现有的快速运动目标的特征点跟踪方法进行改进。

发明内容

本发明的目的在于针对现有技术的缺陷，提供一种对快速运动目标的特征点准确跟踪的方法，从而实现对高速运动目标特征点的正确跟踪。

本发明的技术方案如下：一种对快速运动目标的特征点准确跟踪的方法，包括如下步骤：

(1)t-1时刻在跟踪目标选择矩形区域中根据特征矩阵 $\left[\begin{array}{cc}{\∫\∫}_w{g}_x^2& {\∫\∫}_w{g}_x{g}_y\\ {\∫\∫}_w{g}_x{g}_y& {\∫\∫}_w{g}_y^2\end{array}\right]$ 选择M个特征点，矩阵中g_x表示图像在X方向的灰度梯度，g_y表示图像在Y方向的灰度梯度，

表示在跟踪目标选择矩形区域离散数据的和；

(2)在t时刻对M个特征点使用KLT光流矢量公式迭代求得最优解，得到所有特征点在当前帧的新位置；

(3)如果在步骤(2)中求得了最优解，则转入步骤(5)；否则，表示有某个特征点丢失，进入步骤(4)；

(4)在跟踪目标搜索矩形区域内，使用棋盘格对所有特征点进行近似位置估计，得到新位置，具体方法如下：

将跟踪目标搜索矩形区域进行棋盘格划分，每个格与特征点区域大小相同，这样具有K个图像区域，求取这K个区域中与t-1时刻特征点区域图像灰度差的平方和最小的一个区域，以这个区域的中心位置作为光流矢量公式的迭代初始位置重新进入步骤(2)进行计算；

(5)令t＝t+1，返回步骤(2)，进行循环操作。

进一步，如上所述的对快速运动目标的特征点准确跟踪的方法，其中，特征点的个数M取40。

进一步，如上所述的对快速运动目标的特征点准确跟踪的方法，其中，步骤(2)中所述的KLT光流矢量公式为：Zd＝e，

其中， $Z={\∫\∫}_{w}g\left(\stackrel{\→}{X}\right)g^T\left(\stackrel{\→}{X}\right)W\left(\stackrel{\→}{X}\right)d\stackrel{\→}{X},$

$e={\∫\∫}_w[I\left(\stackrel{\→}{X}\right)-J\left(\stackrel{\→}{X}\right)]g\left(\stackrel{\→}{X}\right)W\left(\stackrel{\→}{X}\right)d\stackrel{\→}{X},$

$g={[\frac{\∂}{\∂x}\left(\frac{I+J}{2}\right),\frac{\∂}{\∂y}\left(\frac{(I+J)}{2}\right)]}^T,$

d＝[dx，dy]^T，

J、I分别表示t-1和t时刻的两幅图像的亮度函数，

表示特征运动参数，d表示特征点的位移。

本发明的有益效果如下：本发明所提供的特征点跟踪方法是现有KLT光流特征点跟踪方法的改进，如果特征点存在于当前图像中，本发明所提供的方法可以先找到近似位置，再通过光流矢量计算公式求解最佳位置；使用棋盘格划分搜索区域，既能大大提高节省搜索时间，又能搜索到与跟踪目标灰度变化接近的近似位置。该方法不会因为图像亮度变化的不连续而出现特征点跟踪丢失的情况，非常适用于快速运动目标的特征点跟踪。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的描述。

本发明所提供的对快速运动目标的特征点准确跟踪的方法涉及两个区域的确定，一个为跟踪目标选择矩形区域用来确定在图像的哪个范围中产生特征点，跟踪目标选择矩形区域是用户选择的，比如一个人脸区域；另一个为跟踪目标搜索矩形区域用来确定在哪个范围中预搜索丢失的特征点，跟踪目标搜索矩形区域一般是整个图像区域。该方法的具体流程如图1所示，包括以下步骤：

(1)t-1时刻在跟踪目标选择矩形区域中根据特征矩阵 $\left[\begin{array}{cc}{\∫\∫}_w{g}_x^2& {\∫\∫}_w{g}_x{g}_y\\ {\∫\∫}_w{g}_x{g}_y& {\∫\∫}_w{g}_y^2\end{array}\right]$ 选择M个特征点。g_x表示图像在X方向的灰度梯度，g_y表示图像在Y方向的灰度梯度。

表示在跟踪目标选择矩形区域离散数据的和。根据特征矩阵得出的特征值选出最优的M个特征点(特征值越大越优)，本发明中特征点个数M取40。

(2)在t时刻对M个特征点使用KLT光流矢量公式迭代求得最优解，得到所有特征点在当前帧的新位置。

KLT光流矢量公式为：Zd＝e，

其中， $Z={\∫\∫}_{w}g\left(\stackrel{\→}{X}\right)g^T\left(\stackrel{\→}{X}\right)W\left(\stackrel{\→}{X}\right)d\stackrel{\→}{X},$

$e={\∫\∫}_w[I\left(\stackrel{\→}{X}\right)-J\left(\stackrel{\→}{X}\right)]g\left(\stackrel{\→}{X}\right)W\left(\stackrel{\→}{X}\right)d\stackrel{\→}{X},$

$g={[\frac{\∂}{\∂x}\left(\frac{(I+J)}{2}\right),\frac{\∂}{\∂y}\left(\frac{(I+J)}{2}\right)]}^T,$

d＝[dx，dy]^T，

J、I分别表示t-1和t时刻的两幅图像的亮度函数，

表示特征运动参数，比如二维运动是(x，y)，d表示特征点的位移。

通过Newton迭代法进行逼近求得最优解。

(3)如果在步骤(2)无法求得最优解，表示有某个特征点丢失，如果这个特征点区域有可能还存在当前图像中，只是由于物体运动快使灰度梯度不连续了而造成光流矢量公式无法收敛到最优解，这时候可以尝试在跟踪目标搜索矩形区域内搜索跟踪目标的近似位置。

将跟踪目标搜索矩形区域进行棋盘格划分，每个格与特征点区域大小相同，这样具有K个图像区域，求取这K个区域中与t-1时刻特征点区域图像灰度差的平方和(SSD)最小的一个区域，以这个区域的中心位置作为光流矢量公式的迭代初始位置重新进入步骤(2)进行计算。如此划分棋盘格，理论在于如果跟踪特征点存在这个时刻图像中，我们总能找到一个区域与t-1时刻特征点区域在灰度变化上有相似性，这样以这个区域进行矢量跟踪必定能迭代到最佳匹配位置。用具体的公式表示如下：

$S(x,y)=\left({\∫\∫}_w\right|(J\left(X\right)-I\left(X\right))\left|\right)$

$(x_t,y_i)=\min \left(S(x,y)\right),(x,y)\⋐\mathrm{searchregion}$

上述公式中S表示这个位置的亮度与模板的亮度差，J、I分别表示t-1和t时刻的两幅图像的亮度函数。

(4)如果仍然没有找到特征点，说明特征点不存在，就丢弃这个特征点，否则将特征点在t时刻的新位置记录下来，返回给用户。

(5)在t+1时刻，令t＝t+1，返回步骤(2)，进行循环操作。

本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的创新范围。

Claims (3)

1.一种对快速运动目标的特征点准确跟踪的方法，包括如下步骤：

(1)t-1时刻在跟踪目标选择矩形区域中根据特征矩阵 $\left[\begin{array}{cc}{\∫\∫}_w{g}_x^2& {\∫\∫}_w{g}_x{g}_y\\ {\∫\∫}_w{g}_x{g}_y& {\∫\∫}_w{g}_y^2\end{array}\right]$ 选择M个特征点，矩阵中g_x表示图像在X方向的灰度梯度，g_y表示图像在Y方向的灰度梯度，

表示在跟踪目标选择矩形区域离散数据的和；

(2)在t时刻对M个特征点使用KLT光流矢量公式迭代求得最优解，得到所有特征点在当前帧的新位置；

(3)如果在步骤(2)中求得了最优解，则转入步骤(5)；否则，表示有某个特征点丢失，进入步骤(4)；

(4)在跟踪目标搜索矩形区域内，使用棋盘格对所有特征点进行近似位置估计，得到新位置，具体方法如下：

将跟踪目标搜索矩形区域进行棋盘格划分，每个格与特征点区域大小相同，这样具有K个图像区域，求取这K个区域中与t-1时刻特征点区域图像灰度差的平方和最小的一个区域，以这个区域的中心位置作为光流矢量公式的迭代初始位置重新进入步骤(2)进行计算；

(5)令t＝t+1，返回步骤(2)，进行循环操作。

2.如权利要求1所述的对快速运动目标的特征点准确跟踪的方法，其特征在于：特征点的个数M取40。

3.如权利要求1所述的对快速运动目标的特征点准确跟踪的方法，其特征在于：步骤(2)中所述的KLT光流矢量公式为：Zd＝e，

其中， $Z={\∫\∫}_{w}g\left(\stackrel{\→}{X}\right)g^T\left(\stackrel{\→}{X}\right)W\left(\stackrel{\→}{X}\right)d\stackrel{\→}{X},$

$e={\∫\∫}_w[I\left(\stackrel{\→}{X}\right)-J\left(\stackrel{\→}{X}\right)]g\left(\stackrel{\→}{X}\right)W\left(\stackrel{\→}{X}\right)d\stackrel{\→}{X},$

$g={[\frac{\∂}{\∂x}\left(\frac{(I+J)}{2}\right),\frac{\∂}{\∂y}\left(\frac{(I+J)}{2}\right)]}^T,$

d＝[dx，dy]^T，

J、I分别表示t-1和t时刻的两幅图像的亮度函数，

表示特征运动参数，d表示特征点的位移。

Images