CN104200494B - 一种基于光流的实时视觉目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于光流的实时视觉目标跟踪方法，其特点是该目标跟踪算法在初始化时筛选出富含纹理特征的特征点，在每两帧图像之间跟踪这些特征点，从而得到特征点匹配关系。通过多种过滤算法，包括归一化相关系数，正反跟踪误差以及随机一致性检测等，将匹配误差大的特征点过滤掉，保留下来最可靠的特征点，从而获得目标在图像中的运动速度。以目标的运动速度作为观测量，由卡尔曼滤波估计产生目标位置。本发明与现有跟踪算法相比，具有不受光照的影响，在目标移动，相机移动，及目标短时遮挡等情况下依然可以稳定地跟踪目标。本发明的计算效率高，首次在ARM平台上验证了跟踪算法。

Description

一种基于光流的实时视觉目标跟踪方法

技术领域

本发明涉及一种基于光流的实时视觉目标跟踪方法，属于目标跟踪技术领域。

背景技术

视觉目标跟踪是机器视觉领域的一个重要的研究方向，它对图像序列中的感兴趣目标进行检测，提取、识别和跟踪，从而提供目标的运动状态参数，如位置，速度，加速度以及运动轨迹，从而进一步处理与分析，实现对运动目标的行为理解，为后续应用(如视觉导航，位姿估计与运动分析等)提供原始数据，在智能监控、人机交互、机器人导航等领域有着广泛的应用。除了上述民用领域外，视觉目标跟踪技术在军事领域也受到了极大的关注，如场地侦察，巡航导弹制导，对地攻击直升机和主战坦克火力控制***等场景中都有重要的应用。在上述应用中，目标跟踪是机器人感知外界环境并作出反应的基础，是理解图像的关键。

目前，常用的视觉跟踪方法有如下几种：

(1)Meanshift算法，是一种使用颜色信息来匹配固定大小区域的图像的方法。Meanshift算法是一种利用数据驱动的无参估计算法，又称为核密度估计算法，主要通过均值偏移向量寻找后验概率局部最优，也就是说，Meanshift算法是通过颜色最相似的区域来确定匹配区域的，Meanshift算法不支持目标的更新。

(2)模板匹配算法，是一种通过将图像每一个区域与固定模板进行比较的方法。在初始化的时候选定好目标模板，在跟踪过程中通过不断的将图像区域与模板进行比较，最终选定与模板距离最小的图像区域作为当前图像中目标的位置。该算法结构简单，但是计算量大，不能处理目标变化的情况，当目标有较大的变化，或者旋转超过45度，算法失效。

(3)机器学习方法，通过分别提取目标与背景的特征，用于训练分类器，通过分类器对图像进行评价的方法。在跟踪过程中，通过分类器给出的后验概率来确定目标所在的位置。同时，可以通过计算结果来重新训练分类器，从而实现在目标变化的情况下进行连续的跟踪。这类算法的计算量大，跟踪效果不稳定，容易发散。

综上所述，现有的技术存在的问题是：目标的跟踪受环境影响(如光照变化，目标运动，相机运动)较大，不支持目标的外形更新。同时，计算量大，难以满足实时性要求。

发明内容

本发明的目的是为了解决上述问题，提出一种基于光流的实时视觉目标跟踪方法。初始化时筛选出富含纹理特征的特征点，在每两帧图像之间跟踪这些特征点，从而得到特征点匹配关系。通过多种过滤算法，包括归一化相关系数，正反跟踪误差以及随机一致性检测等，将匹配误差大的特征点过滤掉，保留下来最可靠的特征点，从而获得目标在图像中的运动速度。以目标的运动速度作为观测量，由卡尔曼滤波估计产生目标位置。

一种基于光流的实时视觉目标跟踪方法，包括以下几个步骤：

步骤一，获取跟踪目标第一帧图像的初始位置；

步骤二，获取特征点序列；

步骤三：获取跟踪目标的新时刻的图像I_t+1；

步骤四：特征点跟踪；

步骤五：对点对进行筛选；

步骤六：消除背景特征点的影响；

步骤七：***状态估计

本发明的优点在于：

(1)使用特征点跟踪的方式进行目标跟踪，计算量小，运行速度快；

(2)通过使用卡尔曼滤波，可以控制跟踪误差，同时具备抵抗短时间遮挡的能力；

(3)提出了基于随机一致性检测的背景消除方法，可消减背景特种点对跟踪结果的影响。

附图说明

图1是本发明的方法流程图；

图2是本发明背景消除的示意图；

图3是对人脸进行跟踪的示意图；

图4是跟踪航拍低速运行大型车的示意图；

图5是跟踪航拍高速公路汽车的示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于光流的实时视觉目标跟踪方法，方法流程如图1所示，包括以下几个步骤：

步骤一，获取跟踪目标第一帧图像的初始位置；

跟踪目标的初始位置已知，给定一个矩形框，表示目标所在位置，在目标追踪的过程中，每帧图像中目标的位置都由一个矩形框表示。

步骤二，获取特征点序列

一般求解的光流场是一个稠密的运动场，通常用于避障等导航应用。但是在目标跟踪问题中，并不需要一个稠密的光流场，只需要目标上的部分像素点的光流即可得到目标的运动速度。此外，求解稠密光流需要消耗大量的时间，对于实时算法来说负担太重。而且，并不是所有的点都适合跟踪，对于那些缺失纹理信息的点，跟踪误差会较大，反而会引起跟踪的误差，因此，本发明首先在图像I_t中目标所在位置的矩形框内，筛选富含纹理信息的特征点，方法如下：

设p＝[p_x，p_y]为矩形框内任意一点，p_x、p_y表示p点在像素坐标系下的坐标，设以p为中心，半径为w的范围为搜索区域，搜索区域大小为(2w+1)×(2w+1)，设矩阵M为：

其中：I_x与I_y为搜索区域中所有点在像素坐标系下x、y方向上的微分。

对于矩形框中每一个点，计算出其矩阵M的两个特征值λ₁、λ₂，设其中最小的特征值为λ_min，设定特征值的阈值λ_{threshold}，1≤λ_{threshold}≤10，丢弃λ_min＜λ_{threshold}的点，剩余的点按λ_min从大到小的顺序排列，设为预选点集合，预选点集合中，有些点的位置通常会聚集在一起，为了使点的分布平衡，选定预选点集合中λ_min最大的点，设定最小距离，丢弃与λ_min最大点距离小于最小距离的点，将λ_min最大的点添加到特征点序列中，剩下的点形成新的预选点集合，在新的预选点集合中，选定λ_min最大的点，丢弃与λ_min最大点距离小于最小距离的点，将λ_min最大的点添加到特征点序列中，剩下的点再次形成新的预选点集合，依次循环，直到预选点集合为空，最终，获取得到特征点序列。

其中，如果最小距离太大，只会剩下较少的点，否则的话点的数量太多，并且过于集中。所以最终保留的特征点数量可以通过调节最小间距来控制。在经历上述步骤后，剩余的点是富含纹理信息的并且适合跟踪的点，同时较均匀地分配在矩形框内。

步骤三：获取跟踪目标的新时刻的图像I_t+1；

步骤四：特征点跟踪；

根据图像I_t中的特征点序列，采用Lucas-Kanade方法，得到图像I_t中的特征点序列在图像I_t+1中的对应点，相对应的点形成N个点对。

本发明中使用了Lucas-Kanade方法对特征点进行匹配，从而求得两张图像之间特征点的运动，也即对特征点进行了跟踪。

步骤五：对点对进行筛选；

在完成特征点序列跟踪后，得到N个点对，其中一些是可靠的，还有一些的跟踪误差较大，分别采用正反跟踪误差和归一化相关系数对点对进行筛选。

(1)采用正反跟踪误差对N个点对进行筛选；

正反跟踪误差使用了时间正反向一致约束法来评估特征点跟踪的误差，其本质思想是假设正确的特征点跟踪应独立于时间流的方向之外。

设在t时刻的图像I_t中的点p_t，匹配到t+1时刻的图像I_t+1中的点记为p_t+1，设从p_t+1点反向跟踪回图像I_t时，对应点是p’_t，理想情况下，p’_t与p_t应为同一点，设这两个点之间的距离为误差：

e＝dis(p′_t，p_t)，

得到N个点对的误差，将误差按照从大到小排序，保留误差较小的个点对。

(2)采用归一化相关系数对个点对进行筛选；

对于每一个特征点，可以用以它为中心的一个小的图像块表示。由于平滑运动假设，物体在两帧相邻的图像之间的外形是不会剧烈变化的。因此，如果点匹配是正确的，每一对特征点所对应的图像块应该是相似的。所以，通过归一化相关系数可以用来测量一对图像块之间的相似程度。

设特征点可以用w×w的图像块表示，图像块可以用向量q∈R^w×w表示，在t时刻，获取图像I_t中的点p_t的图像块A_t，得到向量q_t，在t+1时刻，获取图像I_t+1中的点p_t+1的图像块A_t+1，得到向量q_t+1，获取两个向量的归一化相关系数：

其中，表示向量q_t的平均值，表示向量q_t+1的平均值，<·，·>表示两个向量的内积，ncc(q_t，q_t+1)表示归一化相关系数，设定归一化相关系数阈值ncc_{threshold}，0.7≤ncc_{threshold}≤0.9，将归一化相关系数小于ncc_{threshold}的点对丢弃。

通过上述两个方法，对步骤四得到的点对进行筛选，得到筛选后的高可靠性的点对。

步骤六：消除背景特征点的影响；

除了待跟踪目标，背景也经常被包括到矩形框中，来自于背景的特征点会对跟踪结果产生不好的影响。

采用基于随机一致性检测(RANSAC)的方法消除背景特征点的干扰。假设P＝(p₁，p₂...p_m，p_m+1...p_n)是筛选后的高可靠性的点对集合，其中前m个点对来自于背景，m≤n/2(在一个正确的跟踪流程，目标应该占矩形框的主要部分，因此，约定m≤n/2)。设D＝(d₁，d₂...d_m，d_m+1...d_n)表示P中每个点对在两帧图像之间位移，则d_i表示第i个点对的相对位移。在图像坐标系中，假设背景的速度是V_b，物体的速度是V_o，可得：

d_i～N(V_b，σ_b)，i∈[1，m]

d_j～N(V_o，σ_o)，j∈[m+1，n]

其中：d_i～N(V_b，σ_b)表示d_i服从均值为V_b、方差为σ_b的正态分布，d_j～N(V_o，σ_o)表示d_j服从均值为V_o、方差为σ_o的正态分布。

消除背景特征点的方法如下：

(1)从D中随机抽取K个元素，组成数组V；

(2)取V的中值，记做EV_i，求V中所有元素与EV_i的误差，记做∈_i；

(3)执行(1)、(2)步骤，反复T次，求得T个误差；

(4)取误差最小的EV_i值，记做EV，EV即为目标的位移；

(5)求D中所有元素与EV的误差，误差大于阈值δ的点对剔除，1≤δ≤3；

通过上述步骤，得到消除背景特征点影响的点对。

如下图2所示，在跟踪高速公路上的汽车时，背景中的两个点被消除(灰色)，并且剩余的特征点(白色)都位于车上。

步骤六的消除背景特征点的方法主要优点在于易于应用，并且适用于一系列的基于特征点的跟踪算法，对速度的估计和误差的计算方法可根据应用而改变。

步骤七：***状态估计

虽然经过多次过滤后，剩余的特征点具有较强的可靠性，但是在运行过程中算法的误差仍会逐渐累积。因此采用卡尔曼滤波，通过接收步骤六中目标的位移作为观测量，来估计目标的位置，同时控制噪声。另外，当一个跟踪的物体从视野中消失或者特征丢失，基于特征点的跟踪算法会失效。利用卡尔曼滤波，当***失效而没有速度的输出时，算法可以通过跟踪模型的无测量更新来保持物体的状态。

设t时刻的状态向量X_t＝[P_t，V_t]^T，其中P_t表示矩形框的位置，V_t表示在当前帧图像和前一帧图像中矩形框的位移。由于任意两帧图像之间，目标的运动不会太大，每一帧之间的目标运动可以当做是匀速速度模型。因此，目标的状态转移矩阵如下：

其中：X_t+1表示t+1时刻的状态向量，X_t表示t时刻的状态向量，x_t+1、y_t+1表示t+1时刻目标在图像坐标系下的坐标，x_t、y_t表示t时刻目标在图像坐标系下的坐标，u_t+1、v_t+1表示目标从t时刻到t+1时刻的目标在图像坐标系下两个方向的速度，u_t、v_t表示目标从t-1时刻到t时刻的目标在图像坐标系下两个方向的速度，设u₀＝v₀＝0，Δt表示获取两帧图像的时间间隔。

卡尔曼滤波的观测向量表示为：

其中，

V～N(0，R)

其中，V～N(0，R)表示V服从均值为0、方差为R的正态分布。

通过卡尔曼滤波对观测向量进行估计，从而得到目标t+1时刻在图像中的位置，位置为一个矩形框，返回步骤二，直到停止目标跟踪。

应用本发明的方法，进行人脸和汽车的跟踪，其中，对人脸进行跟踪的结果如图3所示，人从黑暗环境进入明亮环境、转换面部位置、进行眼镜摘带等操作，本发明均可以进行跟踪，如图4、5所示，为汽车为跟踪目标的实施例，图4中为航拍低速运行的大型车，图5是航拍高速公路的汽车，从图中可以看出，本发明无论汽车在任何状态下，均能进行跟踪。

Claims (4)

1.一种基于光流的实时视觉目标跟踪方法，包括以下几个步骤：

步骤一，获取跟踪目标第一帧图像的初始位置；

跟踪目标的初始位置已知，给定一个矩形框，表示目标所在位置；

步骤二，获取特征点序列；

在图像I_t中目标所在位置的矩形框内，筛选富含纹理信息的特征点，方法如下：

设p＝[p_x,p_y]为矩形框内任意一点，p_x、p_y表示p点在像素坐标系下的坐标，设以p为中心，半径为w的范围为搜索区域，搜索区域大小为(2w+1)×(2w+1)，设矩阵M为：

$M=\underset{x=p_x-w}{\overset{p_x+w}{\&Sigma;}}\underset{y=p_y-w}{\overset{x=p_y+w}{\&Sigma;}}\left[\begin{array}{cc}{I}_x{I}_x& I_x{I}_y\\ I_x{I}_y& I_y{I}_y\end{array}\right]$

其中：I_x与I_y为搜索区域中所有点在像素坐标系下x、y方向上的微分；

对于矩形框中每一个点，计算出其矩阵M的两个特征值λ₁、λ₂，设其中最小的特征值为λ_min，设定特征值的阈值λ_{{thres hold}}，丢弃λ_min<λ_{{thres hold}}的点，剩余的点按λ_min从大到小的顺序排列，设为预选点集合，选定预选点集合中λ_min最大的点，设定最小距离，丢弃与λ_min最大点距离小于最小距离的点，将λ_min最大的点添加到特征点序列中，剩下的点形成新的预选点集合，在新的预选点集合中，选定λ_min最大的点，丢弃与λ_min最大点距离小于最小距离的点，将λ_min最大的点添加到特征点序列中，剩下的点再次形成新的预选点集合，依次循环，直到预选点集合为空，最终，获取得到特征点序列；

步骤三：获取跟踪目标的新时刻的图像I_t+1；

步骤四：特征点跟踪；

根据图像I_t中的特征点序列，采用Lucas-Kanade方法，得到图像I_t中的特征点序列在图像I_t+1中的对应点，相对应的点形成N个点对；

步骤五：对点对进行筛选；

(1)采用正反跟踪误差对N个点对进行筛选；

设在t时刻的图像I_t中的点p_t，匹配到t+1时刻的图像I_t+1中的点记为p_t+1，设从p_t+1点反向跟踪回图像I_t时，对应点是p’_t，设这两个点之间的距离为误差：

e＝dis(p′_t,p_t)，

得到N个点对的误差，将误差按照从大到小排序，保留误差小的个点对；

(2)采用归一化相关系数对个点对进行筛选；

在t时刻，获取图像I_t中的点p_t的图像块A_t，得到向量q_t，在t+1时刻，获取图像I_t+1中的点p_t+1的图像块A_t+1，得到向量q_t+1，获取两个向量的归一化相关系数：

$v_1=q_t-\stackrel{\&OverBar;}{q_t},$

$v_2=q_{t+1}-\stackrel{\&OverBar;}{q_{t+1}},$

$ncc(q_t,q_{t+1})=<\frac{v_1}{\left|v_1\right|},\frac{v_2}{\left|v_2\right|}>$

其中，表示向量q_t的平均值，表示向量q_t+1的平均值，<·,·>表示两个向量的内积，ncc(q_t,q_t+1)表示归一化相关系数，设定归一化相关系数阈值ncc_{{thres hold}}，将归一化相关系数小于ncc_{{thres hold}}的点对丢弃；

通过上述两个方法，对步骤四得到的点对进行筛选，得到筛选后的高可靠性的点对；

步骤六：消除背景特征点的影响；

假设P＝(p₁,p₂...p_m,p_m+1...p_n)是筛选后的高可靠性的点对集合，其中前m个点对来自于背景，m≤n/2；设D＝(d₁,d₂...d_m,d_m+1...d_n)表示P中每个点对在两帧图像之间位移，则d_i表示第i个点对的相对位移；在图像坐标系中，假设背景的速度是V_b，物体的速度是V_o，得：

d_i～N(V_b,σ_b),i∈[1,m]

d_j～N(V_o,σ_o),j∈[m+1,n]

其中：d_i～N(V_b,σ_b)表示d_i服从均值为V_b、方差为σ_b的正态分布，d_j～N(V_o,σ_o)表示d_j服从均值为V_o、方差为σ_o的正态分布；

消除背景特征点的方法如下：

(1)从D中随机抽取K个元素，组成数组V；

(2)取V的中值，记做EV_i，求V中所有元素与EV_i的误差，记做∈_i；

(3)执行(1)、(2)步骤，反复T次，求得T个误差；

(4)取误差最小的EV_i值，记做EV，EV即为目标的位移；

(5)求D中所有元素与EV的误差，误差大于阈值δ的点对剔除；

通过上述步骤，得到消除背景特征点影响的点对；

步骤七：***状态估计；

设t时刻的状态向量X_t＝[P_t,V_t]^T，其中P_t表示矩形框的位置，V_t表示在当前帧图像和前一帧图像中矩形框的位移，将每一帧之间的目标运动当做是匀速速度模型，目标的状态转移矩阵为：

$X_{t+1}=\left[\begin{array}{c}{x}_{t+1}\\ y_{t+1}\\ u_{t+1}\\ v_{t+1}\end{array}\right]=F_x\&CenterDot;X_t=\left[\begin{array}{cccc}1& 0& \mathrm{\&Delta;}t& 0\\ 0& 1& 0& \mathrm{\&Delta;}t\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\\ u_t\\ v_t\end{array}\right]$

其中：X_t+1表示t+1时刻的状态向量，X_t表示t时刻的状态向量，x_t+1、y_t+1表示t+1时刻目标在图像坐标系下的坐标，x_t、y_t表示t时刻目标在图像坐标系下的坐标，u_t+1、v_t+1表示目标从t时刻到t+1时刻的目标在图像坐标系下两个方向的速度，u_t、v_t表示目标从t-1时刻到t时刻的目标在图像坐标系下两个方向的速度，设u₀＝v₀＝0，Δt表示获取两帧图像的时间间隔；

卡尔曼滤波的观测向量表示为：

$Z=\left[\begin{array}{c}{u}_t\\ v_t\end{array}\right]=H\&CenterDot;X_t+V,$

其中，

$H=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right],$

V～N(0,R)

其中，V～N(0,R)表示V服从均值为0、方差为R的正态分布；

通过卡尔曼滤波对观测向量进行估计，从而得到目标t+1时刻在图像中的位置，位置为一个矩形框，返回步骤二，进行循环直到停止目标跟踪。

2.根据权利要求1中所述的一种基于光流的实时视觉目标跟踪方法，所述的步骤二中1≤λ_{{thres hold}}≤10。

3.根据权利要求1中所述的一种基于光流的实时视觉目标跟踪方法，所述的步骤五中0.7≤ncc_{{thres hold}}≤0.9。

4.根据权利要求1中所述的一种基于光流的实时视觉目标跟踪方法，所述的步骤六中1≤δ≤3。