CN102184551A - 结合多种特征匹配和粒子滤波的目标自动跟踪方法及*** - Google Patents

Abstract

本发明涉及结合多种特征匹配和粒子滤波的目标跟踪方法及***，该目标跟踪***由视频采集模块、跟踪算法运算模块和输出控制模块三部分组成。视频采集模块完成采集卡的初始化和图像的实时采集；跟踪算法运算模块包括基于灰度模板区域匹配的粒子滤波跟踪、基于颜色概率分布的粒子滤波跟踪和基于SIFT特征匹配的粒子滤波跟踪三种跟踪方式，实现在平移空间和仿射空间的目标跟踪；输出控制模块利用跟踪所得到的目标位置的中心，作为发送给云台的控制指令，实现摄像机跟随目标物体的运动。

Description

结合多种特征匹配和粒子滤波的目标自动跟踪方法及***

技术领域

本发明涉及结合多种特征匹配和粒子滤波的目标跟踪方法及***，尤其涉及在平移空间和仿射空间实现目标跟踪，包括基于灰度模板区域匹配的粒子滤波跟踪、基于颜色概率分布的粒子滤波跟踪和基于SIFT特征匹配的粒子滤波跟踪三种方法。

背景技术

目标跟踪结果蕴含了场景中运动个体的大量时空信息，在军用视觉制导、机器人视觉导航、安全监测、交通管制、医疗诊断、虚拟现实和战场警戒、公共安全监视、视频压缩以及气象分析等许多方面都有广泛的应用。

自二十世纪80年代以来，国内外学者对视频图像目标跟踪提出了很多算法，可以将视觉跟踪方法分为如下四类：(1)基于区域的跟踪，其优点在于当目标未被遮挡时，跟踪精度非常高，跟踪非常稳定，但其缺点首先是费时，当搜索区域较大时情况尤其严重；其次，算法要求目标变形不大，且不能有太大遮挡，否则相关精度下降会造成目标的丢失。(2)基于特征的跟踪，其优点在于即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务。这种算法的难点是：对某个运动目标，如何确定它的唯一特征集这也是一个模式识别问题。若采用特征过多，***效率将降低，且容易产生错误。(3)基于变形模板的跟踪，常用的变形模板是由Kass在1987年提出的主动轮廓模型，又称为Snake模型。Snake模型非常适合可变形目标的跟踪，这种模型与卡尔曼滤波相结合能够更好地进行跟踪。但Snake模型比较适合单目标的跟踪。(4)基于模型的跟踪，其优点是可以精确地分析目标的三维运动轨迹，即使在运动目标姿态变化的情况下，也能够可靠地跟踪。但是其缺点在于，运动分析的精度取决于几何模型的精度，在现实生活中要获得所有运动目标的精确几何模型是非常困难的。这就限制了基于模型的跟踪算法的使用，同时，基于3D模型跟踪算法往往需要大量的运算时间，很难实现实时的运动目标跟踪。

基于贝叶斯的视频对象跟踪的思路是将目标跟踪问题转换为贝叶斯估计问题，已知目标状态的先验概率，在获得新的量测值后不断求解目标状态的最大后验概率的过程。粒子滤波(particle filter)是求解贝叶斯概率的一种实用算法，通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤波，适用于任何能用状态空间模型表示的非线性***，以及传统卡尔曼滤波无法表示的非线性***，精度可以逼进最优估计。粒子滤波方法的使用非常灵活，容易实现，具有并行结构，相当实用。粒子滤波比传统贝叶斯滤波器(卡尔曼滤波器、网格滤波器等)更具有实用价值。通过对跟踪问题的分析，可以构造更有效、速度更快的粒子滤波算法。

本发明描述结合多种特征匹配和粒子滤波的目标跟踪方法及***，构建了基于粒子滤波的跟踪框架及软硬件实现***。核心内容包括目标在三个不同层次上的特征及其提取方法，分别以灰度特征、颜色特征以及SIFT特征作为目标的表征方式，实现了基于这三种特征的粒子滤波跟踪。利用BL-E854CB型网络音视频摄像机、DR68系列云台、恒忆视频采集卡和PC机构成一套视觉跟踪***，采用VC++6.0语言编程实现了基于灰度模板区域匹配的粒子滤波跟踪、基于颜色概率分布的粒子滤波跟踪、基于SIFT特征匹配的粒子滤波跟踪和CamShift跟踪，本***可以自动和半自动的提取出跟踪目标，在运动目标存在较大的尺度、旋转、仿射变形、亮度、对比度变化以及目标存在局部遮挡等情况下都能够实现稳定的目标跟踪。

发明内容

本发明提供结合多种特征匹配和粒子滤波的目标跟踪方法及***，构建基于粒子滤波的跟踪框架及软硬件实现***。

本发明具体内容如下：

(一)提出并设计基于三种特征的粒子滤波目标跟踪方法

本发明的核心内容是设计了基于三种特征的粒子滤波目标跟踪算法：基于灰度模板区域匹配的粒子滤波跟踪、基于颜色概率分布的粒子滤波跟踪、基于SIFT特征匹配的粒子滤波跟踪。

1.基于灰度模板区域匹配的粒子滤波跟踪

基于灰度模板区域匹配的粒子滤波跟踪是以传统区域匹配跟踪方法中的灰度模板为目标描述形式，用粒子加权和来表示目标参数的估计值，粒子的权值与匹配值成比例。把区域匹配算法和粒子滤波跟踪方法结合起来，既体现了区域匹配跟踪算法直观实用的特点，又体现了粒子滤波“多峰”跟踪的优点，大大提高了跟踪的鲁棒性，同时也是一种在仿射空间进行运动参数搜索的实用方法。

2.基于颜色概率分布的粒子滤波跟踪

目标的颜色特征，是最基本的有感觉意义的特征之一。与轮廓、角点、纹理特征一样，颜色特征也属于目标的底层特征，能给人比较直观的印象，并且不需要特别复杂的语义描述。

颜色是一个强有力的描绘子，它常常可简化目标物的区分及从场景中抽取目标。人可以辨别几千种颜色色调和亮度，相比之下只能辨别几十种灰度层次。这也是为什么在计算机视觉方向，更倾向于把图像从灰度空间转化到颜色空间来进行处理。对于非刚性物体的跟踪(比如人体跟踪)，尤其适合用颜色特征来进行跟踪。

本发明从另一个角度，结合粒子滤波的“多峰性”优点，首先计算目标的颜色直方图，然后进行颜色直方图概率反投影，在颜色概率分布图像上进行粒子滤波预测并进行观测输出。用一个粒子来表示目标的一种可能姿态，并计算粒子的权值(衡量与目标真实姿态之间的相关值)，由粒子加权和来表示目标姿态的估计值。

3.基于SIFT特征匹配的粒子滤波跟踪。

SIFT(Scale Invariant Feature Transform即尺度不变特征变换)特征匹配算法是目前国内外特征匹配研究领域取得比较成功的一种算法，该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。SIFT特征匹配技术很少用在跟踪上，其主要原因是SIFT特征计算复杂度很高，所以限制了其在实时性要求很高的跟踪技术上的应用。

本发明提出一种基于SIFT特征匹配技术的粒子滤波跟踪技术，该方法不是像传统的SIFT特征匹配技术那样计算整幅图像，而是利用粒子滤波技术的预测方法，在目标邻域内计算SIFT特征，这样可以大大减少一些不必要的计算，从而减少***运算时间，并且对亮度变化、视角变化、仿射变换、噪声等情况下也保持一定程度的跟踪稳定性。

(二)目标跟踪***的软硬件设计

本发明采用软硬件协同工作，构建目标跟踪***。利用BL-E854CB型网络音视频摄像机、DR68系列云台和恒忆视频采集卡构成目标跟踪硬件***，硬件***连接图如附图1。软件***包括视频采集模块、跟踪算法运算模块和输出控制模块，在PC机上结合VC++6.0实现所有软件功能，软件***结构如附图2。

附图说明

图1为设备连接框图

图2为***软件结构图

图3为基于灰度模板区域匹配的粒子滤波跟踪算法流程图

图4为基于颜色概率分布的粒子滤波算法流程图

图5为基于SIFT特征匹配的粒子滤波跟踪算法流程图

图6为设备实物图

图7为控制区域图

图8为软件初始界面图

图9为主线程流程图

图10为子线程1流程图

图11为子线程2和子线程3流程图，其中(a)图为子线程2流程图，(b)图为子线程3流程图

具体实施方式

本发明提出结合多种特征匹配和粒子滤波的目标跟踪方法及***，构建基于粒子滤波的跟踪框架及软硬件实现***。

本发明具体实施方案如下：

(一)提出三种特征的粒子滤波目标跟踪方法

本发明的核心内容是提出了基于三种特征的粒子滤波目标跟踪算法：基于灰度模板区域匹配的粒子滤波跟踪、基于颜色概率分布的粒子滤波跟踪、基于SIFT特征匹配的粒子滤波跟踪。具体如下

1.基于灰度模板区域匹配的粒子滤波跟踪算法

基于灰度模板区域匹配的粒子滤波跟踪就是以传统区域匹配跟踪方法中的灰度模板为目标描述形式，用粒子加权和来表示目标参数的估计值，粒子的权值与匹配值成比例。把区域匹配算法和粒子滤波跟踪方法结合起来，既体现了区域匹配跟踪算法直观实用的特点，又体现了粒子滤波“多峰”跟踪的优点，可以大大提高跟踪的鲁棒性，同时也是一种在仿射空间进行运动参数搜索的有效方法。

需要说明的一点是本发明所考虑的各种方法都是着眼于求解目标的运动参数，即目标的位置、角度、尺度等等。为了体现出粒子滤波对传统区域匹配算法的优点，本发明将考虑仿射空间的跟踪。对于仿射模型，需要考虑目标的六个参数，这里我们不考虑切向尺度SXY，即只考虑五个参数T＝(TX，TY，SX，SY，θ)，其中TX和TY分别为目标中心点的水平方位和垂直方位坐标，SX，SY分别为水平方向和垂直方向的尺度，θ为目标相对于模板的旋转角度。这样一个粒子就表示目标的一种可能的运动状态，即具有一组可能的运动参数(T)。根据粒子的运动参数，即可求出该粒子所对应的目标模板的一种变形情况，通过计算这个变形模板与实际图像的匹配值，对粒子赋予与匹配值成比例的权值，由粒子加权来表示目标状态的后验概率。

(1)目标的先验知识

目标的先验知识包括目标的灰度模板的建立和粒子的初始化工作。

在初始帧中，用差分法等自动目标检测或人机交互的方法可以得到目标的初始描述。在本发明中，采用矩形框来表示目标的姿态。对于一个矩形框来说，其姿态包括五个参数：

其中：cx和cy分别为矩形框的中心位置，h和w分别为矩形框的高度和宽度，

为矩形框沿h方向与x轴的夹角，初始值设为90°。

这样，跟踪开始时，目标的先验知识(k₀时刻)包括了一个大小为m×n的图像模板f(a，b)，(a＝1…m，b＝1…n)，以及目标的初始运动参数

取粒子数位Ns，其权值ω′初始值为1，每个粒子代表目标的一个可能的运动状态，并且每个粒子都具有五个参数：

T′＝(TX′，TY′，θ′，SX′，SY′)，i＝1，2，…Ns    (3)

粒子参数的初始值取为：

TX′＝TX^mit+b₁ξ，TY′＝TY^mit+b₂ξ，θ′＝θ^mit+b₃ξ，

SX′＝SX^mit+b₄ξ，SY′＝SY^mit+b₅ξ，i＝1…Ns    (4)

其中，ξ为[-1，1]内的随机数，b₁、b₂、b₃、b₄、b₅是常数。

(2)***状态转移

在其后时刻k_t(t＞0)，利用***状态转移方程对每个粒子进行状态预测。

取一阶ARP方程：    x_t＝Ax_t-1+Bw_t-1(5)

即对粒子N′，有：

${\mathrm{TX}}_t^i=A_{1}T{X}_{t-1}^i+B_1{w}_{t-1},$ ${\mathrm{TY}}_t^i=A_2{\mathrm{TY}}_{t-1}^i+B_2{w}_{t-1},$ ${\mathrm{\θ}}_t^i=A_3{\mathrm{\θ}}_{t-1}^i+B_3{w}_{t-1},$ ${\mathrm{SX}}_t^i=A_4{\mathrm{SX}}_{t-1}^i+B_4{w}_{t-1},$ ${\mathrm{SY}}_t^i=A_5{\mathrm{SY}}_{t-1}^i+B_5{w}_{t-1},i=1\·\·\·\mathrm{Ns}.---\left(6\right)$

其中，A₁…A₅、B₁…B₅为常数，w_t-1为[-1，1]内的随机数。

简单情况下取A₁＝A₂＝A₃＝A₄＝A₅＝1，且称B₁…B₅为粒子传播半径。此时***状态转移的含义即是分别在状态量上迭加一个扰动量。

当考虑目标的状态传播具有速度或加速度，采用二阶ARP模型。

二阶ARP模型可以表示为：

x_t＝Ax_t-2+Bx_t-1+Cw_t-1         (7)

其中，A、B、C为常数，w_t-1为[-1，1]内的随机数。

(3)***观测

各个粒子进行传播后可以对其进行观测，也就是观察每个粒子所代表的目标可能状态和目标真实状态之间的相似程度，接近目标真实状态的粒子赋予较大的权值，反之权值较小。

取最小平均绝对差值函数为衡量相似程度的工具，即对每个粒子可以计算一个相似值MAD′，i＝1…Ns。初始模板的角度是90°，而对于粒子i，因为是预测，所以其角度θ有各个方向，且一般不等于90°，这样的话就需要在计算MAD′时，把粒子i所属的粒子区域旋转到90°后再利用最小平均绝对差值函数进行相似值的计算。

定义观测概率密度函数为： $p\left(z_k\right|x_k^i)=\exp \{-\frac{1}{{2\mathrm{\σ}}^2}{\mathrm{MAD}}^i\}---\left(8\right)$

其中，σ为常数。上式的含义为对匹配值进行高斯型调制。

这样各粒子的权值

由(2.25)式进行递推计算：

$w_k^i=w_{k-1}^{i}p\left(z_k\right|x_k^i)---\left(9\right)$

最后，对粒子权值进行归一化处理。

(4)后验概率计算

k_t时刻的后验概率，也就是目标跟踪中所期望的目标参数

可以由各粒子的加权和来表示，即：

${\mathrm{TX}}_t^{\mathrm{opt}}=\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{\mathrm{\ω}}_t^i{\mathrm{TX}}_t^i,$ ${\mathrm{TY}}_t^{\mathrm{opt}}=\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{\mathrm{\ω}}_t^i{\mathrm{TX}}_t^i,$ ${\mathrm{\θ}}_t^{\mathrm{opt}}=\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{\mathrm{\ω}}_t^i{\mathrm{\θ}}_t^i,$ ${\mathrm{SX}}_t^{\mathrm{opt}}=\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{\mathrm{\ω}}_t^i{\mathrm{SX}}_t^i,$ ${\mathrm{SY}}_t^{\mathrm{opt}}=\underset{i=1}{\overset{\mathrm{Ns}}{\mathrm{\Σ}}}{\mathrm{\ω}}_t^i{\mathrm{SY}}_t^i,i=1\·\·\·\mathrm{Ns}.---\left(10\right)$

其中：

为第i个粒子归一化后的权值，

为第i个粒子的状态参数。

至此一次跟踪过程结束。下一时刻的跟踪仍然从***状态转移重新开始。

(5)粒子重采样

序列重要性采样算法存在的一个基本问题就是粒子退化现象，即经过几步迭代递推后，许多粒子的权值会变得非常小，只有少数几个粒子具有较大权值，大量的计算则浪费在小权值粒子上。

粒子重采样就是在当出现某些粒子权值太小时，从权值大的粒子上衍生出一些粒子来代替它们。我们只需要定义一个阈值，当某些粒子的权值达到某个下限后就执行该过程，而该粒子的“后代”粒子的权值重新设置为1。重采样过程与其他过程(***状态转移、***观测、目标描述)等都无关，在其后章节中不做另外说明。

(6)基于灰度模板区域匹配的粒子滤波跟踪算法流程

前面详细描述了基于灰度模板区域匹配的粒子滤波跟踪算法各模块的具体功能，这里，本发明用VC++6.0实现了以上流程，程序的主体结构框图如附图4所示。

首先确定粒子数，选择运动模型。粒子数的选择与实际跟踪要求有关，一般情况下粒子数越多，跟踪越稳定，精度越高，但同时计算量也越大。实际跟踪场合可以进行折衷选择，或动态进行调整。运动模型我们选择具有两个参数的平移模型和具有五个参数的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋转角度。运动模型一旦选定，粒子即与之一致，具有相同维数的参数。

随后判断是否目标已选取，目标的选取采用手动选取或自动选取两种方式，手动选取就是采用人为的方式，用鼠标在屏幕上选取一块区域作为跟踪目标，自动选取则为利用图像差分等方法得到想要跟踪的目标。当目标区域已经确定之后，就建立目标模板，初始化粒子参数，并将粒子权值都设为1(即所有粒子同等重要)。

粒子初始化之后的帧就转入粒子滤波算法的迭代过程。每一帧中，对每个粒子进行***状态转移以及***观测，计算粒子的权值，并将所有粒子进行加权以输出目标状态的估计值。最后进行粒子重采样过程，转入下一次算法迭代过程。

本发明提出的基于灰度模板区域匹配的粒子滤波跟踪算法流程图如附图3.

2.基于颜色概率分布的粒子滤波跟踪算法

图像直方图是图像处理中一种十分重要的图像分析工具，它描述了一幅图像的亮度级内容，任何一幅图像的直方图都包含了丰富的信息，它主要用在图象分割，图像灰度变换等处理过程中。从数学上来说图像直方图是图像各灰度值统计特性与图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数或概率；从图形上来说，它是一个二维图，横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各个像素点出现的次数或概率。

(1)颜色直方图的统计

RGB和HSV颜色直方图是两种最常用的颜色空间模型。大部分的数字图像都是用RGB颜色空间表达的，但是，RGB空间结构并不符合人们对颜色相似性的主观判断。而HSV颜色空间更接近于人们对颜色的主观认识，它的三个分量分别代表色彩(Hue)、饱和度(saturation)和亮度(value)。

本发明首先把目标区域的像素由RGB空间转换到HSV空间，然后计算H分量的一维直方图，并进行归一化(就是将H分量值映射到0-1这个范围内)。分量量化采用最常用最简单的方法，即将H分量均匀地划分成若干个小的区间，使每个小区间成为一个直方图的一个bin。其中bin的数目与具体应用的性能和效率要求有关，其数目越多，直方图对颜色的分辨率能力就越强，但是bin的数目很大的直方图会增加计算负担。考虑到视觉跟踪实时性的要求以及H分量的范围，***中H分量bin的数目设为48。

(2)颜色概率分布图的计算

计算颜色直方图的目的是为了获得颜色概率分布图像，在此基础上，还需将原始视频图像通过颜色直方图转换到颜色概率分布图像。原始视频图像中的像素被颜色直方图中相应像素的统计量所代替，然后将得到的结果重新量化后就得到颜色概率分布图像。

原始视频图像中的像素是用来描述光的强度的量，而在颜色概率分布图形中的像素是用来度量某种“可能性”的值，这种可能性表示的是运动目标出现在此像素所在位置的概率。以后的跟踪过程都是作用在这个颜色概率分布图像。

本发明这样计算颜色概率分布图：对于后继采集的每一帧图像，首先从RGB空间转化到HSV空间，然后对每个像素位置的H分量，计算目标归一化的颜色直方图，由下式得到颜色概率分布图像对应位置的像素值：

B(i，j)＝H(i，j)×Hist(h)       (11)

其中B(i，j)为颜色概率分布图中的像素点的值，H(i，j)为所采集的图像中像素点的H分量值，Hist(h)为在颜色直方图中H(i，j)所在bin的Histogram值。当所有的像素点都计算完成之后，就得到了一张颜色概率分布图像。

当S分量很小时，计算出的H分量会很大，这样会造成很大的误差，所以本发明设一个阈值，当S分量小于这个阈值时，令对应的H分量为0，经过试验，将阈值设为30。经过修正的色彩概率分布图，再把每个像素点的值都取反，最后把颜色概率分布图像的像素值为零的点替换成像素值为一个很小的正值，以使粒子滤波计算权值时能够很好的适应于尺度变化，这样就得到的了一幅可以用于粒子滤波跟踪的图像。

(3)基于颜色概率分布的粒子滤波跟踪算法

从对颜色概率分布图的分析可知，与目标颜色相近的像素点会有较大的概率值，而目标处的像素值会有最大的概率值，这样，在目标先验知识已经得到的情况下，以初始位置散播一簇粒子，然后对这些粒子进行观测，对每一个粒子，计算该粒子状态范围内的像素值和，用指数函数进行调制并归一化就可得到每个粒子的权值，可以看到，与目标状态越接近的粒子，权值会越大。最后计算后验概率输出，这样就完成了一次粒子滤波跟踪，在背景干扰不很大的场景下，能够进行实时的跟踪，并且对于三维空间的仿射模型变化也能进行很好的跟踪。本发明研究并实现了这种算法。

采用颜色概率分布模型，相当于把原始图像映射到了一张概率灰度图像中，因此，在目标颜色跳跃性不是很大的情况下，对边缘遮挡、目标旋转、变形和背景运动不敏感。所以，这种模型很适合于仿射空间的跟踪。

本发明采用仿射模型进行跟踪，跟踪的目的则是求解目标的运动状态T＝(TX，TY，θ，SX，SY，SXY)，其中TX，TY分别为x方向和y方向的目标中心，θ为目标旋转的角度，SX，SY和SXY为目标在x方向、y方向和对角方向的尺度(为简便计算，这里不考虑SXY)。

基于颜色概率分布的粒子滤波跟踪也就是利用贝叶斯递推滤波方法，使用蒙特卡罗模拟，用若干粒子的加权来作为目标状态(T)的后验概率表示，每个粒子代表目标的一种可能运动状态(T)。根据粒子的运动参数，即可求出该粒子所对应的目标模板的一种变形情况，通过计算这个变形模板在实际图像中所占得比例值，对粒子赋予相关的权值，由粒子加权来表示目标状态的后验概率。

限于篇幅，基于颜色概率分布的粒子滤波跟踪***的目标先验知识、状态转移、***观测、后验概率计算、粒子重采样等过程就不一一赘述，参见本说明书上小节“基于灰度模板区域匹配的粒子滤波跟踪算法”中的分析与描述。

基于颜色概率分布的粒子滤波跟踪算法流程图如附图4所示。

本算法中，首先需要确定粒子数目和运动模型，在本发明中，运动模型我们选择具有五个参数的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋转角度。运动模型一旦选定，粒子即与之一致，具有相同维数的参数。

然后要判断是否目标已选取，目标的选取同样可以采用手动选取或自动选取，当目标区域已经确定之后，就建立目标模板的颜色直方图，初始化粒子参数，并将粒子权值都设为1(即所有粒子同等重要)。

粒子初始化之后的帧就要转入粒子滤波算法的迭代过程。每一帧中，首先把图像由RGB空间转换到HSV空间，然后计算颜色概率分布图，对每个粒子在颜色概率分布图上进行***状态转移以及***观测，计算粒子的权值，并将所有粒子进行加权以输出目标状态的估计值。最后进行粒子重采样过程，转入下一次算法迭代过程。

3.基于SIFT特征匹配的粒子滤波跟踪算法

SIFT(Scale Invariant Feature Transform即尺度不变特征变换)特征匹配是目前国内外特征匹配研究领域取得比较成功的一种方法，它具有匹配能力较强、能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。

SIFT特征匹配技术很少用在跟踪上，其主要原因是SIFT特征计算复杂度很高，限制了其在实时性要求高的跟踪技术上的应用。本发明提出一种基于SIFT特征匹配技术的粒子滤波跟踪方法，本发明方法不是像传统的SIFT特征匹配技术那样计算整幅图像，而是利用粒子滤波技术的预测方法，在目标邻域内计算SIFT特征，这样可以大大减少一些不必要的计算，从而减少***运算时间。

(1)SIFT特征匹配的计算过程

SIFT特征是图像的局部特征，该特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

SIFT算法的主要特点：

a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

b)独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。

c)多量性，即使少数的几个物体也可以产生大量SIFT特征向量。

d)可扩展性，可以很方便的与其他形式的特征向量进行联合。

1)SIFT特征向量的生成

在生成SIFT特征向量之前，先对图像进行规一化处理，然后扩大图像为原来的两倍，预滤波剔除噪声，得到高斯金字塔的最底层即第1阶的第1层。一幅图像SIFT特征向量的生成算法包括如下4步：

a)尺度空间极值检测

尺度空间理论最早出现于计算机视觉领域，当时其目的是模拟图像数据的多尺度特征。随后Koendetink利用扩散方程来描述尺度空间滤波过程，并由此证明高斯核是实现尺度变换的唯一变换核。Lindeberg、Babaud等人通过不同的推导进一步证明高斯核是唯一的线性核。

二维高斯核的定义如公式(12)所示，其中：σ代表了高斯正态分布的方差：

$G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)}/{2\mathrm{\σ}}^2---\left(12\right)$

对于二维图像I(x，y)，在不同尺度下的尺度空间表示L(x，y，σ)可由图像I(x，y)与高斯核G(x，y，σ)的卷积得到，如公式(13)所示：

L(x，y，σ)＝G(x，y，σ)×I(x，y)(13)

为了得到在不同尺度空间下的稳定特征点，将图像与不同尺度因子下的高斯核进行卷积操作，构成高斯金字塔。高斯金字塔有o阶，一般选择4阶，每一阶有s层尺度图像，s一般选择5层。第1阶的第1层是放大2倍的原始图像，其目的是为了得到更多的特征点；在同一阶中相邻两层的尺度因子比例系数是k，则第1阶第2层的尺度因子是kσ，然后其它层以此类推则可；第2阶的第1层由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是k2σ，然后第2阶的第2层的尺度因子是第1层的k倍即k3σ。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。

高斯金字塔建立之后就要建立DOG(Different of Gaussian)金字塔，DOG即相邻两尺度空间函数之差，即通过高斯金字塔中相邻尺度空间函数相减，用D(x，y，σ)来表示，如公式(14)所示：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))×I(x，y)

＝L(x，y，kσ)-L(x，y，σ)(14)

在上面建立的DOG尺度空间金字塔中，为了检测到DOG空间的最大值和最小值，DOG尺度空间中中间层(最底层和最顶层除外)的每个像素点需要跟同一层的相邻8个像素点以及它上一层和下一层的9个相邻像素点总共26个相邻像素点进行比较，以确保在尺度空间和二维图像空间都检测到局部极值，若该像素比相邻26个像素的DOG值都大或都小，则该点将作为一个局部极值点，记下它的位置和对应尺度。

b)精确定位特征点位置

由于DOG值对噪声和边缘较敏感，因此，在上面DOG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。下面对局部极值点进行三维二次函数拟和以精确确定特征点的位置和尺度，尺度空间函数D(x，y，σ)在局部极值点(x₀，y₀，σ)处的泰勒展开式如公式(15)所示。

$D(x,y,\mathrm{\σ})=D(x_0,y_0,{\mathrm{\σ}}_0)+\frac{{\∂D}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{{\∂X}_0^2}X---\left(15\right)$

公式(15)中的一阶和二阶导数是通过附近区域的差分来近似求出的，通过对公式(15)求导，并令其为0，得出精确的极值位置X_max，如公式(16)所示；

$X_{\max }=-{\left[\frac{{\∂}^{2}D}{{\∂X}^2}\right]}^{-1}\frac{\∂D}{\∂X}---\left(16\right)$

在上面精确确定的特征点中，同时要去除低对比度的特征点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

去除低对比度的特征点：把公式(16)代到公式(15)中，只要前两项，得到公式(17)：

$D\left(X_{\max }\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂X}---\left(17\right)$

通过式(17)计算出D(X_max)，若|D(X_max)|≥0.03，则该特征点就保留下来，否则就丢弃。

去除不稳定的边缘响应点：海森矩阵如公式(18)所示，其中的偏导数是上面确定的特征点处的偏导数，它也是通过附近区域的差分来近似估计的。

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(18\right)$

通过2×2的海森矩阵H来计算主曲率，由于D的主曲率与H矩阵的特征值成比例，不具体求特征值，求其比例ratio。设α是最大幅值特征，β是次小的，

则ratio如公式(19)所示。

Tr(H)＝D_xx+D_vv＝α+β

Det(H)＝D_xxD_vv-(D_xv)²＝αβ(19)

$\mathrm{ratio}=\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(r+1)}^2}{r}$

通过公式(19)求出ratio，常数r＝10，若则保留该特征点，否则就丢弃。

c)确定特征点的主方向

利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性，其中m(x，y)和θ(x，y)分别为幅值和方向。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))---\left(\text{20}\right)$

以特征点为中心的邻域窗口内采样，并用梯度方向直方图统计邻域像素的梯度方向。梯度直方图的范围是0°～360°，其中每10°一个柱，总共36个柱。梯度方向直方图的峰值则代表了该特征点处邻域梯度的主方向，即作为该特征点的方向。在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该特征点的辅方向。一个特征点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。

通过上面的3步，图像的特征点已检测完毕，每个特征点有3个信息：位置、对应尺度、方向。

c)生成SIFT特征向量

首先将坐标轴旋转为特征点的方向，以确保旋转不变性。

接下来以特征点为中心取8×8的窗口(特征点所在的行和列不取)。然后在每4×4的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点。这样一个特征点由2×2共4个种子点组成，每个种子点有8个方向向量信息，可产生2×2×8共32个数据，形成32维的SIFT特征向量即特征点描述器，所需的图像数据块为8×8。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

实际计算过程中，为了增强匹配的稳健性，对每个特征点使用4×4共16个种子点来描述，每个种子点有8个方向向量信息，这样对于一个特征点就可以产生4×4×8共128个数据，最终形成128维的SIFT特征向量，所需的图像数据块为16×16。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

2)SIFT特征向量的匹配

a)相似判定度量

当两幅图像的特征向量生成以后，可采用关键点特征向量的欧氏距离作为两幅图像中关键点的相似判定度量。公式如下：

$d_L=|L_i-L_l|=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{(L_{i,k}-L_{l,k})}^2}---\left(21\right)$

其中：m为向量维数，d_L为欧式距离。

b)匹配方法

为了减少一个特征点可能存在多个相似匹配点而造成的误匹配情况，本发明采用最近邻和次近邻特征点距离之比来减少误匹配。如果最近的距离和次近的距离比值小于某个阈值Td，则认为该点对为匹配点对，否则丢弃。降低阈值，SIFT匹配点对数目会减少，但更加稳定。如何找到最近邻和次近邻是本算法的关键问题。穷举法是最为有效的方法。但是如果特征点数目特别大时，计算量就会以指数级别增长。

鉴于匹配算法中存在的问题，可以采用BBF(Best Bin First)来寻找最近邻和次近邻，它是对k-d树搜索算法的改进。实际上，k-d树搜索算法大部分时间花费在检查节点上，而只有一部分节点满足最近邻条件，因此，本发明采用近似的最近邻算法，通过限制k-d树中叶子节点数来缩短搜索时间。

本发明利用SIFT特征匹配算法进行SIFT特征向量的生成和SIFT特征匹配，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

为了快速找到匹配点对，本发明将匹配阈值降低到0.20，这样匹配到的点对减少，但更加稳定。

适当的增大匹配阈值，匹配到的点会增多，但稳定性会下降，当匹配阈值为0.49时，匹配点数明显增多，但其中有一些点匹配出了错误。实际应用中要选取合适的阈值来进行稳定的匹配。

(2)基于SIFT特征匹配的粒子滤波跟踪算法

本发明提出了一种基于SIFT特征匹配的粒子滤波跟踪技术，利用粒子滤波很好的“多峰”预测性，估计出目标的活动范围，然后在此范围内计算SIFT特征进行匹配，最后加权输出。

这里本发明同样采用矩形框来表示目标的姿态。目标在k₀时刻的初始状态(TX^mit，TY^mit，θ^mit，SX^mit，SY^mit)同前述一样，这里不再重复。

限于篇幅，基于SIFT特征匹配的粒子滤波跟踪***的目标先验知识、状态转移、***观测、后验概率计算、粒子重采样等过程就不一一赘述，参见本说明书上小节“基于灰度模板区域匹配的粒子滤波跟踪算法”中的分析与描述。

基于SIFT特征匹配的粒子滤波跟踪算法流程图如附图5所示。

在跟踪过程中，首先需要确定粒子数目和运动模型，在本发明中，运动模型我们选择具有五个参数的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋转角度。运动模型一旦选定，粒子即与之一致，具有相同维数的参数。

然后要判断是否目标已选取，目标的选取同样可以采用手动选取或自动选取，当目标区域已经确定之后，就建立目标模板的SIFT特征向量，初始化粒子参数，并将粒子权值都设为1(即所有粒子同等重要)。

粒子初始化之后的帧就要转入粒子滤波算法的迭代过程。每一帧中，首先进行粒子散播，也就是要进行预测，在预测的一个范围内计算该区域内图像的SIFT特征，然后把已经得到的模板的SIFT特征跟这个预测区域里的SIFT特征进行匹配，保存匹配到的点对，根据***观测状态产生一张匹配点对图，对每个粒子在这张匹配点对图上进行***观测，计算粒子的权值，并将所有粒子进行加权以输出目标状态的估计值。最后进行粒子重采样过程，转入下一次算法迭代过程。

(二)目标跟踪***的软硬件设计与实现

本发明采用BL-E854CB型网络音视频摄像机、DR68系列云台和恒忆视频采集卡来构成一套视觉跟踪***，在PC机上结合VC++6.0实现了基于灰度模板区域匹配的粒子滤波跟踪、基于颜色概率分布的粒子滤波跟踪、基于SIFT特征匹配的粒子滤波跟踪，实现运动目标的自动跟踪。

1.***的硬件设计与构成

本***分为视频采集模块、跟踪算法运算模块和输出控制模块。其中视频采集模块由BL-E854CB型网络音视频摄像机和恒忆视频采集卡构成，跟踪运算模块由四种跟踪算法构成，输出控制模块由DR68系列云台构成，控制指令由PC机串口发送。

(1)BL-E854CB型网络音视频摄像机

日夜型网络音视频摄像机BL-E854CB采用1/3”SONY SUPER HAD CCD与DSP数字信号处理技术，能提供优质的图像和良好的性能。清晰度达到540TVL，转黑白时600TVL，最低照度达到0.1Lux/F1.2，转黑白时0.001/F1.2。

(2)恒忆视频采集卡

HighEasy系列编码卡采用了高性能的音视频编解码技术，完全依靠硬件实现了视频及音频的实时编码并精确同步，实现了动态码率控制、恒定码率控制、混合码率控制、帧率可控、帧模式可选、动态图像质量控制，视频丢失报警，多路模拟视频输出，多路报警信号输出配置等功能。HighEasy系列编解码产品提供统一***SDK、网络SDK和解码SDK，可以供用产后期开发***使用。

(3)DR68系列云台

DR68系列云台支持水平面最大旋转范围0°～350°，水平面向下90°，向上60°运动，旋转速度为水平6°/s，垂直旋转3.5°/s，支持Pelco D和Pelco P两种协议，配有RS-485串口，支持2400BPS和9600BPS两种波特率，可以通过拨码开关来设定。本***波特率采用2400BPS，Pelco P协议。

***硬件设备的实物图如附图6所示，硬件连接框图如附图1所示。

2.***的软件实现

(1)图像采集

利用恒忆采集卡提供的SDK，实现图像的采集，首先对采集卡做一些初始化的工作，由以下函数来完成。

板卡初始化函数：

①MP4Sys_SetDisplayMode(FALSE)；把显示模式设置成YUV方式。

②MP4Sys_InitDSPs()；板卡初始化。

③MP4Sys_ChannelOpen(0)；打开采集通道，采用O号通道。

④MP4Sys_EncSetOriginalImageSize(hChannelHandle，352，288)；设置图片尺寸，本***把图片设置成288×352大小。

图像采集函数：

①MP4Sys_GetOriginalImageEx(hChannelHandle，ImageBuf，&Size，&dwWidth，&dwHeight)；获得原始图片，原始图片为YUV格式的。

②MP4Sys_SaveYUVToBmp(rgb，ImageBuf，&rgbsize，dwWidth，dwHeight)；YUV格式转BMP格式。

(2)目标提取

本***采用两种目标提取方式，自动提取和手动提取。自动提取是针对视野里运动物体所言的，当采集的视野里有运动物体时，则把此运动物体作为所提取的目标，然后进行跟踪。手动提取则是利用鼠标选定一块区域，然后对这块区域进行跟踪。下面分别进行介绍。

1)自动目标提取

自动目标提取就是当视野中有运动物体进来时，就把此运动物体提取出来作为后续跟踪的模板。

首先要判断视野中是否有运动物体，这个可以利用恒忆视频采集卡中提供的运动检测功能来得到。恒忆视频采集卡提供了如下函数可以调用来检测视野中是否有运动目标。

①int MP4Sys_SetupMotionDetection(HANDLE hChannelHandle，RECT*rectList，intnumberOfAreas)：设置检测区域，本***中为了能够完整的提取运动目标，没有把检测区域设置成整幅图像大小，而是设置成以图像中心为中心，长为300，宽为220的矩形区域，这样，可以保证不会在图像边界上提取物体，从而保证目标提取的目标是完整的。

②int MP4Sys_AdjustMotionDetectPrecision(HANDLE hChannelHandle，int iGrade，intiFastMotionDetectFps，int iSlowMotionDetectFps)：调整分析灵敏度，为了去除干扰引起的误判断，本***把灵敏度调的低一点。只对大面积的运动区域才会有反应。

③int MP4Sys StartMotionDetection(HANDLE hChannelHandle)：启动运动分析

④int MP4Sys_MotionAnalyzer(HANDLE hChannelHandle，char*MotionData，intiThreshold，int*iResult)：运动分析，iResult是其返回值，当iResult大于零时，证明运动分析区域内有运动目标，

⑤int MP4Sys_StopMotionDetection(HANDLE hChannelHandle)：关闭运动分析，当发现运动分析区域内有运动目标时，就关闭运动分析，然后进行目标提取。

本***采用一种比较成熟的算法来建背景，即高斯背景建模。利用OpenCV工具包里提供的高斯背景建模模块得到含有极少噪声的包含目标区域的前景帧二值图像，然后进行轮廓提取，取最大面积的轮廓作为检测到得目标，然后定位，即得到包含目标的矩形区域，把这块区域的参数计算出来，即把所选的矩形区域初始化，R＝(Cx，Cy，theta，Sx，Sy)，Cx，Cy为矩形区域的中心位置，Sx，Sy为矩形区域的宽度和高度，theta为矩形区域初始角度，设为90°。

2)手动目标提取

手动目标提取就是根据想要跟踪的目标，在图像中选取一块矩形区域，同样需要把这块区域的参数计算出来，即把所选的矩形区域初始化，R＝(Cx，Cy，theta，Sx，Sy)，Cx，Cy为矩形区域的中心位置，Sx，Sy为矩形区域的宽度和高度，theta为矩形区域初始角度，设为90

(3)目标跟踪

目标跟踪中，采用本发明提出的三种粒子滤波跟踪算法。

在粒子滤波跟踪方法中，可以调节的主要参数有两个：粒子传播半径R和粒子数目N。而粒子传播半径跟目标的运动速度有关，目标的运动速度大，则需要大一点的粒子传播半径，同时需要更多的粒子来达到稳定跟踪；目标的运动速度小，则可以把粒子传播半径设的小一点，同时可以减少粒子数目，以减少运算量。粒子传播半径R与目标的运动速度S之间存在以下三种情况：

(1)R＜S：此时粒子的传播速度显然小于目标在画面上的运动速度，所有粒子都将滞后于目标，跟踪失败。

(2)R＞＞S：这种情况下粒子传播半径很大，所有粒子构成的搜索区域将很容易将目标包含在内，但是粒子覆盖的面积增大也意味着单位面积内粒子数减少，搜索分辨率降低。

(3)R＞S但R！＜＜S：取R＜S或R＞＞S都是不合理的。R应大于S，但又不能太大。由于R表示粒子传播半径，这里以像素来表征，而S表示目标运动速度，也可以像素来表征，这里认为两者近似成正比关系。当Rx＝2.1Sx，Ry＝2.2Sy时，在理想情况下(无遮挡干扰)跟踪应当是成功的。但考虑到遮挡情况，选取R＝2.5S。

粒子数目与跟踪效果的关系中，粒子数目太少，则跟踪精度不够，粒子数目太多，则造成重复的浪费，当粒子数目N＝0.3～0.5Ns(Ns＝2Sx×2Sy)时，跟踪平均误差在0.1个像素内。

本***根据CPU的处理速度以及目标跟摄像机的一般距离，选取粒子传播半径为20个像素，完全可以适合跟踪中速运动目标，粒子数N＝0.5×40×40＝800，经过实验，完全可以跟踪的上目标。

对于提取的目标区域，分别根据跟踪方式选择，求出三种模板，即目标灰度模板，目标颜色直方图和目标SIFT特征，这样就得到了目标的跟踪模板。然后针对相应的跟踪方式，进行粒子滤波跟踪，对每一帧图像，把粒子滤波的后验概率输出，用于跟踪控制。

(4)跟踪控制

跟踪控制就是利用跟踪所得到的目标的位置的中心，作为发送给云台的控制指令。其控制指令的输出形式参考PELCO-P协议协议，波特率设为2400BPS，采用VC++6.0里提供的MSComm控件来输出串口控制指令，控制云台能够八个方向(上、下、左、右、左上、左下、右上、右下)运动。其控制规律如下：根据跟踪所得到的目标的实际位置，判断目标是否在中心区域的一个小范围内(本***把这个小范围定为一个矩形框，其长宽分别为30个像素，矩形框的中心在图像的中心)，如果不在所规定的矩形框内，则根据粒子后验概率的输出值所在的区域，发送相应的控制指令，力图把目标拉到图像的中心区域，即实现了摄像机跟随着物体的运动。其划分的区域如附图7所示：

中心区域：即力图使目标到达的区域，***中把其定位30×30像素单位的矩形区域。

一区：即左上区，当目标在这个区域时，应该把目标拉到中心区域，这样，摄像机就应该往左上方向走动，即发送左上方向运动指令。

二区：即上区，当目标在这个区域时，应该把目标拉到中心区域，这样，摄像机就应该往上方向走动，即发送上方向运动指令。

三区至八区的区域说明和控制方式跟上述类似，即在哪个区域就发送与此方向相对应的控制命令。

(5)***总体框图

本***实现了两种选取目标选取方式(自动选取和手动选取)，两种跟踪方式(粒子滤波和Camshift跟踪)，其中Camshift是采用的OpenCV库提供的库函数来实现的，粒子滤波又分三种方式(如前所述)。同时提供了手动控制云台的界面，还尝试了网络控制。

软件是基于VC++6.0编写的，一个主线程和三个子线程，其中主线程的任务是做用户交互，子线程一的主要任务是实现跟踪算法并输出控制量，子线程二的主要任务是实现远程数据的发送，子线程三的主要任务是接收远程机器的请求。远程数据的发送和接收利用SOCKET编程来实现，采用UDP传输协议。

在这里，我们把带有视频采集卡的那台PC机作为服务器端，另一台机器作为客户端，其工作流程如下：当服务器端同意传输时，如果客户端申请建立连接，则进行连接建立，客户端和服务器端各自进行套接字的初始化，然后服务器端就进行数据的传送，并实时的回应客户端的请求，客服端则把服务器端传来的数据进行显示，并可以往服务器端发送云台控制的请求命令。

软件初始界面如附图8所示：

默认情况下，***目标提取方式为关闭状态，跟踪方式为基于灰度模板区域匹配的粒子滤波跟踪，且远程传输为关闭状态。

服务器端主要完成目标跟踪任务以及响应客户端的请求，其四个线程分别介绍如下。

主线程主要完成用户交互任务，并提供目标的选取工作，其流程图如附图9。

子线程一主要完成四种跟踪算法并输出控制量，其程序流程图如附图10。

子线程二主要完成远程数据的发送，子线程三主要完成接收远程机器的请求，并根据请求值进行相应的控制，其程序流程分别如附图11(a)和(b)

客户端同样需要两个线程，一个用于发送，一个用于接收，只不过是客户端需要首先发起连接请求，当连接建立起来之后，两端的工作方式是一样的了，所以这里就不用再给出客户端的程序流程图了。

Claims (5)

1.基于灰度模板区域匹配的粒子滤波跟踪算法，其特征包括：

A、以传统区域匹配跟踪方法中的灰度模板为目标描述形式，具体包括：

A1、目标的先验知识包括目标的灰度模板的建立；

A2、在初始帧中，用差分法等自动目标检测或人机交互的方法得到目标的初始描述；

A3、采用矩形框来表示目标的姿态；

A4、对于一个矩形框来说，其姿态包括五个参数：矩形框的中心位置水平和垂直坐标，矩形框的高度和宽度，矩形框沿高度方向与水平轴的夹角；

B、将区域匹配算法和粒子滤波跟踪方法结合起来，具体包括：

B1、用粒子加权和来表示目标参数的估计值，粒子的权值与匹配值成比例。

B2、粒子数的选择与实际跟踪要求有关，粒子数越多，跟踪越稳定，精度越高，但同时计算量也越大。根据跟踪情况进行折衷选择、动态调整。

B3、每一帧中，对每个粒子进行***状态转移以及***观测，计算粒子的权值，并将所有粒子进行加权以输出目标状态的估计值，然后进行粒子重采样过程。

C、在仿射空间进行运动参数搜索，具体包括：

C1、运动模型选择具有两个参数的平移模型和具有五个参数的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋转角度。

C2、粒子与运动模型一致，具有相同维数。

2.基于颜色概率分布的粒子滤波跟踪算法，其特征包括：

A、颜色直方图的统计，包括：

A1、把目标区域的像素由RGB空间转换到HSV空间，然后计算H分量的一维直方图，并进行归一化；

A2、H分量均匀地划分成若干个小的区间，使每个小区间成为一个直方图的一个bin；

A3、考虑到视觉跟踪实时性的要求以及H分量的范围，***中H分量bin的数目设为48。

B、颜色概率分布图的计算，包括：

B1、设一个阈值，当HSV空间的S分量小于这个阈值时，令对应的H分量为0，本发明将阈值设为30；

B2、经过修正的色彩概率分布图，再把每个像素点的值都取反，最后把颜色概率分布图像的像素值为零的点替换成像素值为一个很小的正值，以使粒子滤波计算权值时能够很好的适应于尺度变化。

C、将颜色概率分布和粒子滤波跟踪方法结合起来，具体包括：

C1、从对颜色概率分布图的分析可知，与目标颜色相近的像素点会有较大的概率值，而目标处的像素值会有最大的概率值。在目标先验知识已经得到的情况下，以初始位置散播一簇粒子，然后对这些粒子进行观测，对每一个粒子，计算该粒子状态范围内的像素值和，用指数函数进行调制并归一化就可得到每个粒子的权值，可以看到，与目标状态越接近的粒子，权值会越大。

C2、采用颜色概率分布模型，相当于把原始图像映射到了一张概率灰度图像中，因此，在目标颜色跳跃性不是很大的情况下，对边缘遮挡、目标旋转、变形和背景运动不敏感。

C3、采用仿射模型进行跟踪，跟踪的目的则是求解目标的运动状态，，包括x方向和y方向的目标中心、目标旋转的角度、、目标在x方向、y方向和对角方向的尺度。

C4、运动模型选择具有两个参数的平移模型和具有五个参数的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋转角度。

C5、粒子与运动模型一致，具有相同维数。

3.基于SIFT特征匹配的粒子滤波跟踪算法，其特征包括：

A、SIFT特征匹配的计算，包括：

A1、SIFT特征向量的生成

先对图像进行规一化处理，然后扩大图像为原来的两倍，预滤波剔除噪声，得到高斯金字塔的最底层即第1阶的第1层；再经过尺度空间极值检测、精确定位特征点位置、确定特征点的主方向、生成SIFT特征向量四个计算步骤。

A2、SIFT特征向量的匹配

为了减少一个特征点可能存在多个相似匹配点而造成的误匹配情况，本发明采用最近邻和次近邻特征点距离之比来减少误匹配。

A3、提出了一种基于SIFT特征匹配的粒子滤波跟踪技术

在跟踪过程中，首先确定粒子数目和运动模型，在本发明中，运动模型选择具有五个参数的仿射模型，包括水平方向和垂直方向的位移和尺度以及旋转角度。运动模型选定后，粒子与之一致，具有相同维数的参数。

然后判断是否目标已选取，目标的选取采用手动选取或自动选取两种方式，当目标区域已经确定之后，就建立目标模板的SIFT特征向量，初始化粒子参数，并将粒子权值都设为1(即所有粒子同等重要)。

粒子初始化之后的帧就转入粒子滤波算法的迭代过程。每一帧中，首先进行粒子散播，也就是进行预测，在预测的一个范围内计算该区域内图像的SIFT特征，然后把已经得到的模板的SIFT特征跟这个预测区域里的SIFT特征进行匹配，保存匹配到的点对，根据***观测状态产生一张匹配点对图，对每个粒子在这张匹配点对图上进行***观测，计算粒子的权值，并将所有粒子进行加权以输出目标状态的估计值。最后进行粒子重采样过程，转入下一次算法迭代过程。

4.目标跟踪***的硬件设计与实现，其特征包括：

本跟踪***分为视频采集模块、跟踪算法运算模块和输出控制模块。本发明采用BL-E854CB型网络音视频摄像机、DR68系列云台、恒忆视频采集卡和PC机构成一套视觉跟踪硬件***。

A、日夜型BL-E854CB型网络音视频摄像机，能提供优质的图像和良好的性能。

B、恒忆视频采集卡，HighEasy系列编码卡采用了高性能的音视频编解码技术，完全依靠硬件实现了视频及音频的实时编码并精确同步，实现了动态码率控制、恒定码率控制、混合码率控制、帧率可控、帧模式可选、动态图像质量控制，视频丢失报警，多路模拟视频输出，多路报警信号输出配置等功能。

C、DR68系列云台支持水平面最大旋转范围0°～350°，水平面向下90°，向上60°运动，旋转速度为水平6°/s，垂直旋转3.5°/s，本发明波特率采用2400BPS，Pelco P协议。

5.目标跟踪***的软件设计与实现，其特征包括：

A、对恒忆采集卡通过初始化图像工作后，完成采集。

B、本***采用自动提取和手动提取两种目标提取方式，具体包括：

B1、当视野中有运动物体进来时，通过自动目标提取把此运动物体提取出来作为后续跟踪的模板。本***采用高斯背景建模，得到含有极少噪声的包含目标区域的前景帧二值图像，然后进行轮廓提取，取最大面积的轮廓作为检测到得目标，然后定位，得到包含目标的矩形区域

B2、手动目标提取就是根据想要跟踪的目标，在图像中选取一块矩形区域，把这块区域的参数计算出来，即把所选的矩形区域初始化。

C、采用本发明提出的三种粒子滤波跟踪算法进行目标跟踪，具体包括：

C1、在粒子滤波跟踪方法中，调节的主要参数有两个：粒子传播半径R和粒子数目N。而粒子传播半径跟目标的运动速度有关，目标的运动速度大，则需要大一点的粒子传播半径，同时需要更多的粒子来达到稳定跟踪；目标的运动速度小，则可以把粒子传播半径设的小一点，同时可以减少粒子数目，以减少运算量。

本***根据CPU的处理速度以及目标跟摄像机的一般距离，选取粒子传播半径为20个像素，完全可以适合跟踪中速运动目标，粒子数N＝0.5×40×40＝800，完全可以跟踪的上目标。

C2、对于提取的目标区域，分别根据跟踪方式选择，求出三种模板，即目标灰度模板，目标颜色直方图和目标SIFT特征，这样就得到了目标的跟踪模板。

D、利用跟踪所得到的目标的位置的中心，作为发送给云台的控制指令，实现跟踪控制。控制指令的输出形式采用PELCO-P协议，波特率设为2400BPS，控制云台能够八个方向(上、下、左、右、左上、左下、右上、右下)运动。

E、软件***总体设计，包括：

E1、本***实现了两种选取目标选取方式(自动选取和手动选取)，两种跟踪方式(粒子滤波和Camshift跟踪)，其中Camshift是采用的OpenCV库提供的库函数来实现的，粒子滤波又分三种方式(如前所述)，还实现了网络控制

E2、软件基于VC++6.0编写，一个主线程和三个子线程，其中主线程的任务是做用户交互，子线程一的主要任务是实现跟踪算法并输出控制量，子线程二的主要任务是实现远程数据的发送，子线程三的主要任务是接收远程机器的请求。远程数据的发送和接收利用SOCKET编程来实现，采用UDP传输协议。

E3、带有视频采集卡的那台PC机作为服务器端，另一台机器作为客户端，实现网络控制。

Images