CN102915545A - 一种基于OpenCV的视频目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于OpenCV的视频目标跟踪算法，其特点是该视频目标跟踪算法以选定的模板与视频帧进行匹配，通过相关系数的计算找出视频帧中与模板图像最相似的子图位置，模板的更新根据卡尔曼滤波器的预测位置和相关系数值确定，具体算法包括：模板匹配、位置预测和模板更新。本发明与现有技术相比具有目标的识别和跟踪不受环境变化的影响，能及时准确地识别和跟踪目标物体，支持跟踪物体的更新，使***在跟踪时能动态更新模板，跟踪在环境和物体变化的情况下更准确，以多个参数作为跟踪的依据，跟踪更可靠，在目标物体移动、背景不断变化和有阴影影响的情况下不易丢失跟踪。

Description

一种基于OpenCV的视频目标跟踪算法

技术领域

本发明涉及视频数据分析技术领域，尤其是一种用于图像捕捉和视频数据分析的基于OpenCV的视频目标跟踪算法。

背景技术

视频跟踪是近年来兴起的一个研究方向,视频跟踪的算法以图像序列为输入,输出的则是图像中目标的各种属性,如目标的大小、位置等。在理想状况下，这些输出都是准确的、实时的，然而，在现实世界中，由于各种干扰的存在，往往很难达到理想状态，所以能否排除干扰准确地捕捉目标物体是衡量视频跟踪算法好坏的关键。

目前，常用的视频跟踪算法有如下几种：

㈠、Meanshift算法，是一种使用颜色信息来匹配固定大小区域的图像的方法。Meanshift算法是一种利用数据驱动的无参估计算法,又称为核密度估计算法,主要通过均值偏移向量寻找后验概率局部最优，也就是说，meanshift算法是通过颜色最相似的区域来确定匹配区域的，meanshift算法不支持目标的更新。

㈡、背景差分法:是利用当前图像与背景图像的差分来识别运动目标的方法，其背景模型的获取和更新是该方法中的关键技术。一种简单的获取背景图像的方法是当场景中无任何目标出现时捕获背景图像，这种人工的非自适应方法获取的背景图像仅适用于短时间内的视频监控。目前大多数算法已经放弃这种非自适应的背景图像估计方法。当场景环境不是很复杂时，可以使用统计滤波完成场景中背景图像的估计，大多数情况下都可以得到正确的背景估计图像，但是当场景中有部分物体做无规则运动时，会引起场景中像素值不断变化，从而引起估计误差。基于高斯统计模型的背景估计方法在有部分区域不断变化的场景中也能比较准确地估计出背景模型，但是它的计算比较复杂，且无法满足实时性需求。

㈢、瞬时差分法：是在视频序列中两个相邻帧间采用基于像素的时间差分，并且阈值化来提取运动目标的方法，即将相邻的两帧图像做逐像素相减运算，并设定阈值，若差值大于阈值，则将其看作前景图像(运动目标)，否则看作是背景图像。瞬时差分法对于动态环境的适应性较强，不需要获取背景图像，当相邻两帧图像的纹理、灰度等信息比较接近时，可以较准确地得到运动物体的***轮廓，但通常不能完整地检测到目标的具体内容，易在物体内部产生空洞。

综上所述，现有技术存在的问题是：目标的识别跟踪受环境变化的影响较大，不支持跟踪物体的更新；仅依靠单一或较少的信息量作为跟踪的标准不够准确，在背景和目标不断变化的情况下较容易丢失跟踪或误跟踪。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于OpenCV的视频目标跟踪算法，以选定的模板与视频帧进行匹配，通过相关系数的计算找出视频帧中与模板图像最相似的子图位置，可以在目标物体移动和背景不断变化同时有阴影影响的情况下，准确及时地识别并跟踪目标物体。

本发明的目的是这样实现的：一种基于OpenCV的视频目标跟踪算法，其特点是该视频目标跟踪算法以选定的模板与视频帧进行匹配，通过相关系数的计算找出视频帧中与模板图像最相似的子图位置，模板的更新根据卡尔曼滤波器的预测位置和相关系数值确定，具体算法按下述步骤进行：

（1）、模板匹配

以已知的小图像为模板，将模板叠放在被搜索的大图像中移动搜寻目标，被模板覆盖的目标区域为子图，在被搜索的大图像中搜索全部可能的位置并计算每个位置上子图与模板的相关系数，计算得到的相关系数存放在一个数组中，其中最大值对应的位置即为与模版最为匹配的子图位置，其相关系数按下式（a）计算，对于每一个子图，计算出相应的归一化相关系数R(i,j)（-1≤R(i,j)≤1），并找出R的最大值R_max(i_m,j_m)，其对应的子图即为匹配目标，当模板和子图完全一样时，相关系数R(i,j)=1；

$R(i,j)=\frac{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}(x,y)*T(x,y)}{\sqrt{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{\left[S_{\mathrm{ij}}(x,y)\right]}^2}\sqrt{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{\left[T(x,y)\right]}^2}}---\left(a\right)$

其中：n、m表示模板T的宽度和高度，i、j表示子图S_ij在大图中的坐标位置，x、y表示子图S_ij的内部坐标值，S_ij（x，y）表示在子图S_ij中坐标为（x，y）的点的像素值，T（x，y）表示在模板T中坐标为（x，y）的点的像素值；

（2）、位置预测

对于新获取的一帧图像，采用卡尔曼滤波器根据前几帧的最佳匹配位置来预测该帧中最佳匹配位置；所述卡尔曼滤波器由时间更新的预测方程和测量更新的校正方程组成，所述预测方程由下式（b）计算的向前推算状态变量和下式（c）计算的向前推算误差协方差构造下一个时间状态的先验估计；所述校正方程由下式（d）计算的卡尔曼增益、下式（e）计算的后验估计和下式（f）计算的后验协方差作为下一次计算的先验估计，每次只需根据以前的测量变量递归计算当前的状态；

向前推算状态变量： ${\hat{x}}_k^{-}=A{\hat{x}}_{k-1}+B{u}_{k-1}---\left(b\right)$

向前推算误差协方差： $P_k^{-}=A{P}_{k-1}{A}^T+Q---\left(c\right)$

卡尔曼增益： $K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}---\left(d\right)$

后验估计： ${{{\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-})}_{}}_{}---\left(e\right)$

后验协方差： $P_k=(I-K_{k}H)P_K^{-}---\left(f\right)$

其中：A为状态转移矩阵，B为控制矩阵或单位矩阵；Q为过程噪声协方差矩阵；H为测量矩阵；R为测量噪声协方差矩阵；P为后验错误协方差矩阵；I为单位矩阵；u_k-1为观测噪声；z_k存储实际测量结果，x_k为状态变量；

（3）、模板更新

根据预测变量y_k与观测变量z_k间的距离distance以及z_k对应的相关系数值R_max来判定是否更新当前模板，点y_k（x₁，y₁）与点z_k（x₂，y₂）间的距离distance按下式（g）计算；当distance≤30时：R_max大于0.90时则继续跟踪；R_max小于0.90且大于0.85时则更新模板；R_max小于0.85时则丢失跟踪；当distance>30时：R_max大于0.85时则用y_k作为跟踪点；R_max小于0.85时则丢失跟踪。

$\mathrm{dis}\tan \mathrm{ce}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(g\right)$

本发明与现有技术相比具有目标的识别和跟踪不受环境变化的影响，能及时准确地识别和跟踪目标物体，支持跟踪物体的更新，使***在跟踪时能动态更新模板，跟踪在环境和物体变化的情况下更准确，以多个参数作为跟踪的依据，跟踪更可靠，在目标物体移动、背景不断变化和有阴影影响的情况下不易丢失跟踪。

附图说明

图1为模板示意图

图2为模板在大图上搜寻目标示意图

图3～图4为卡尔曼滤波器操作示意图

具体实施方式

实施例1

本发明以选定的模板与视频帧进行匹配，找出视频图像中与模板图像最相似的子图位置进行相关系数匹配的计算，并将这一帧匹配的位置与根据前几帧预测所得的位置进行比较，从而决定是否更新当前模板。

首先，在Visual C++6.0环境下创建一个OpenCV工程，然后根据摄像头和操作***的种类，调用适当的API打开摄像头并获得摄像头所捕捉到的图像帧进行视频跟踪，具体算法和操作按下述步骤进行：

（1）、模板匹配

参阅附图1～附图2，以已知的m×n个像素的小图像为模板T，将模板T叠放在W×H个像素的被搜索大图像S上平移搜寻目标，且该目标同模板T有相同的尺寸、方向和图像，被模板T覆盖的目标区域为子图S_ij，其中i，j为子图左下角在被搜索大图像S上的坐标，i，j在矩形ABCD上移动，所以其取值范围是：

0≤i≤W–m

0≤j≤H–n

在被搜索的大图像S中，搜索全部可能的位置并计算每个位置上子图与模板的相关系数，计算得到的相关系数存放在一个数组中，其中最大值对应的位置即为与模版最为匹配的子图位置，相关系数按下式（a）计算，对于每一个子图，计算出相应的归一化相关系数R(i,j)，并找出R的最大值R_max(i_m,j_m)，其对应的子图S_ij即为匹配目标，当模板T和子图S_ij完全一样时，相关系数R(i,j)=1。

$R(i,j)=\frac{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}(x,y)*T(x,y)}{\sqrt{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{\left[S_{\mathrm{ij}}(x,y)\right]}^2}\sqrt{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{\left[T(x,y)\right]}^2}}---\left(a\right)$

其中：n、m表示模板T的宽度和高度，i、j表示子图在大图中的坐标位置，x、y表示子图S_ij内部坐标值，S_ij（x，y）表示在子图S_ij中坐标为（x，y）的点的像素值，T（x，y）表示在模板T中坐标为（x，y）的点的像素值。

对于每一帧图像，由于子图的坐标i、j的范围分别为0≤i≤W–m和0≤j≤H–n，所以相关系数R需要计算（W–m+1）*（H–n+1）次，每一次计算都按照上式（a）代入值进行，每一帧的计算结果被存入一个result数组，上述计算过程可以通过调用OpenCV中的库函数cvMatchTemplate来实现，然后对result数组中保存的值进行最大值求取，得出最大值及其坐标。

例如，对于摄像头捕捉的画面分辨率是640x480，模板大小是40x60的情况，其相关系数计算和最大值的求取如下：

①、在OpenCV中创建类型为IplImage*（或其它可存储数值的类型）的变量result用于存储每一帧图像的相关系数的计算结果，其大小为（640-40+1）x（480-60+1）。

②、对于每一帧摄像头捕捉的图像，用OpenCV中的库函数cvMatchTemplate来计算其与模板的相关系数，需要传入的变量为当前帧的图像mFrame（大小为640x480）、模板图像mTarget（大小为40x60）、相关系数结果数组result和一个相关系数参数宏CV_TM_CCOEFF_NORMED，其中

CV_TM_CCOEFF_NORMED表示使用归一化的相关系数计算，此函数把相关系数计算的结果填入result数组中。

③、对result数组进行遍历或使用cvMinMaxLoc对result数组进行计算，求出其中最大的数值并得出其坐标位置，该坐标位置即为当前帧中的最佳匹配位置。

（2）、位置预测

对于新获取的一帧图像，采用卡尔曼滤波器根据前几帧的最佳匹配位置来预测该帧中的最佳匹配位置；所述的卡尔曼滤波器由时间更新的预测方程和测量更新的校正方程组成，所述预测方程由下式（b）计算的向前推算状态变量和下式（c）计算的向前推算误差协方差构造下一个时间状态的先验估计；所述校正方程由下式（d）计算的卡尔曼增益校正预测方程、下式（e）计算的后验估计和下式（f）计算的后验协方差作为下一次计算的先验估计，每次只需根据以前的测量变量递归计算当前的状态估计的递归推算。

向前推算状态变量： ${\hat{x}}_k^{-}=A{\hat{x}}_{k-1}+B{u}_{k-1}---\left(b\right)$

向前推算误差协方差： $P_k^{-}=A{P}_{k-1}{A}^T+Q---\left(c\right)$

卡尔曼增益： $K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}---\left(d\right)$

后验估计： ${{{\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-})}_{}}_{}---\left(e\right)$

后验协方差： $P_k=(I-K_{k}H)P_k^{-}---\left(f\right)$

其中：Q为过程激励噪声协方差矩阵；A、B为增益矩阵；H表示状态变量x_k对测量变量z_k的增益矩阵；I为单位矩阵。

参阅附图3～附图4，在时间更新的预测方程中，卡尔曼滤波器根据之前得到的后验估计值按上式（b）计算出下一帧的先验估计，然后按上式（c）计算出先验协方差。而测量更新方程首先计算卡尔曼增益K_k，其次测量输出以获得z_k，然后用K_k与z_k按上式（e）计算状态的后验估计，最后按上式（f）估计状态的后验协方差。在卡尔曼滤波器中，上一次计算得到的后验估计被作为下一次计算的先验估计，每次只需根据以前的测量变量递归计算当前状态。

在位置预测的具体实现过程中，可以采用不手动构造卡尔曼滤波器，而直接使用封装在OpenCV中的结构体CvKalman，结构体CvKalman用来保存Kalman滤波器状态，它由函数cvCreateKalman创建，由函数cvKalmanPredict和函数cvKalmanCorrect更新，由函数cvReleaseKalman释放，对标准Kalman滤波器，在OpenCV中卡尔曼滤波器的创建和更新过程如下：

1)创建卡尔曼滤波器:

通过cvCreateKalman函数创建对象卡尔曼滤波器指针CvKalman*，存入变量kalman中，其中状态向量x_k维数、观测向量z_k维数均设置为2，此算法中不必用到控制向量，其维数设为0，变量kalman中的成员变量的初始化设置方法如下：

I、转移矩阵A:可设置为float F[ ]={1，1，0，1}；在CvKalman结构体中，转移矩阵存放在kalman->transition_matrix中。

II、测量矩阵H：设置为主对角线上的元素全为1的对角矩阵（使用cvSetIdentity来设置），存储在kalman->measurement_matrix中。

III、过程噪声协方差矩阵Q：设置为主对角线上的元素全为1e-5的对角矩阵（使用cvSetIdentity来设置），存储在kalman->process_noise_cov中。

IV、测量噪声协方差矩阵R：设置为主对角线上的元素全为1e-1的对角矩阵（使用cvSetIdentity来设置），存储在kalman->measurement_noise_cov中。

V、后验错误协方差矩阵P：设置为主对角线上的元素全为1的对角矩阵（使用cvSetIdentity来设置），存储在kalman->error_cov_post中。

以上矩阵的行数和列数已在创建卡尔曼滤波器时根据状态向量维数、观测向量维数和控制向量维数设定。

2)更新卡尔曼滤波器:

初始化状态向量kalman->state_post，可设置为屏幕中心的坐标值（320,240），对于摄像头获取的第一帧图像，需要做以下工作：

I、调用cvKalmanPredict函数得到***预测值，存入临时变量y_k。

II、获取用相关系数法计算得到的最佳匹配位置，存入观测变量z_k。

III、调用cvKalmanCorrect函数，根据观测变量z_k调整卡尔曼滤波器当前状态。

每获取一幅新的图像，循环上述更新卡尔曼滤波器的步骤，直到停止跟踪事件发生。

3）释放卡尔曼滤波器：

在跟踪结束时，调用cvReleaseKalman函数释放在上述步骤1）中创建的变量kalman。

（3）、模板更新

根据预测变量y_k与观测变量z_k间的距离distance以及z_k对应的相关系数值R_max来判定是否更新当前模板，点y_k（x₁，y₁）与点z_k（x₂，y₂）间的距离distance按下式（g）计算，当distance≤30时：R_max大于0.90时则继续跟踪；R_max小于0.90且大于0.85时则更新模板；R_max小于0.85时则丢失跟踪；当distance>30时：R_max大于0.85时则用y_k作为跟踪点；R_max小于0.85时则丢失跟踪。

$\mathrm{dis}\tan \mathrm{ce}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(g\right)$

以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (1)

1.一种基于OpenCV的视频目标跟踪算法，其特征在于该视频目标跟踪算法以选定的模板与视频帧进行匹配，通过相关系数的计算找出视频帧中与模板图像最相似的子图位置，模板的更新根据卡尔曼滤波器的预测位置和相关系数值确定，具体算法按下述步骤进行：

（1）、模板匹配

以已知的小图像为模板，将模板叠放在被搜索的大图像中移动搜寻目标，被模板覆盖的目标区域为子图，在被搜索的大图像中搜索全部可能的位置并计算每个位置上子图与模板的相关系数，计算得到的相关系数存放在一个数组中，其中最大值对应的位置即为与模版最为匹配的子图位置，其相关系数按下式（a）计算，对于每一个子图，计算出相应的归一化相关系数R(i,j)（-1≤R(i,j)≤1），并找出R的最大值R_max(i_m,j_m)，其对应的子图即为匹配目标，当模板和子图完全一样时，相关系数R(i,j)=1；

$R(i,j)=\frac{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}(x,y)*T(x,y)}{\sqrt{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{\left[S_{\mathrm{ij}}(x,y)\right]}^2}\sqrt{\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{m}{\mathrm{\Σ}}}{\left[T(x,y)\right]}^2}}---\left(a\right)$

其中：n、m表示模板T的宽度和高度，i、j表示子图S_ij在大图中的坐标位置，x、y表示子图S_ij的内部坐标值，S_ij（x，y）表示在子图S_ij中坐标为（x，y）的点的像素值，T（x，y）表示在模板T中坐标为（x，y）的点的像素值；

（2）、位置预测

对于新获取的一帧图像，采用卡尔曼滤波器根据前几帧的最佳匹配位置来预测该帧中最佳匹配位置；所述卡尔曼滤波器由时间更新的预测方程和测量更新的校正方程组成，所述预测方程由下式（b）计算的向前推算状态变量和下式（c）计算的向前推算误差协方差构造下一个时间状态的先验估计；所述校正方程由下式（d）计算的卡尔曼增益、下式（e）计算的后验估计和下式（f）计算的后验协方差作为下一次计算的先验估计，每次只需根据以前的测量变量递归计算当前的状态；

向前推算状态变量： ${\hat{x}}_k^{-}=A{\hat{x}}_{k-1}+B{u}_{k-1}---\left(b\right)$

向前推算误差协方差： $P_k^{-}=A{P}_{k-1}{A}^T+Q---\left(c\right)$

卡尔曼增益： $K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}---\left(d\right)$

后验估计： ${{{\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-})}_{}}_{}---\left(e\right)$

后验协方差： $P_k=(I-K_{k}H)P_K^{-}---\left(f\right)$

其中：A为状态转移矩阵，B为控制矩阵或单位矩阵；Q为过程噪声协方差矩阵；H为测量矩阵；R为测量噪声协方差矩阵；P为后验错误协方差矩阵；I为单位矩阵；u_k-1为观测噪声；z_k存储实际测量结果，x_k为状态变量；

（3）、模板更新

根据预测变量y_k与观测变量z_k间的距离distance以及z_k对应的相关系数值R_max来判定是否更新当前模板，点y_k（x₁，y₁）与点z_k（x₂，y₂）间的距离distance按下式（g）计算；当distance≤30时：R_max大于0.90时则继续跟踪；R_max小于0.90且大于0.85时则更新模板；R_max小于0.85时则丢失跟踪；当distance>30时：R_max大于0.85时则用y_k作为跟踪点；R_max小于0.85时则丢失跟踪；

$\mathrm{dis}\tan \mathrm{ce}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(g\right).$

Images