CN102063727B - 一种基于协方差匹配的主动轮廓跟踪方法 - Google Patents

Abstract

本发明涉及一种基于协方差匹配的主动轮廓跟踪方法，属于视觉跟踪技术领域。一种基于协方差匹配的主动轮廓跟踪方法，利用非欧氏几何建模图像区域能量项。在第一帧，手动初始化包围目标的曲线，为曲线包围的区域建立协方差矩阵作为目标轮廓的模板；在获得了目标的轮廓之后，记录模板的水平集函数值为先验形状做准备并计算模板的符号化距离函数；从下一帧图像开始，由上一帧的结果，根据建立的能量泛函推导出梯度下降流，然后更新水平集函数；检测迭代是否终止。本发明的跟踪结果更加准确，同时以协方差矩阵作为区域描绘子，综合考虑了图像序列中的各种信息及彼此之间的相关性，不依赖于前、背景信息的分布，使跟踪方法更具有普适性。

Description

一种基于协方差匹配的主动轮廓跟踪方法

技术领域

本发明涉及一种基于协方差匹配的主动轮廓跟踪方法，属于视觉跟踪技术领域。

背景技术

运动目标跟踪是计算机视觉领域的经典课题之一，有着重要的应用价值。现实应用中，由于成像质量不佳、环境照明变化、阴影、遮挡和目标变形等原因使得跟踪问题成为一个公认的具有挑战性的难题。

视觉目标跟踪可以分为如下几大类别：点目标跟踪，核跟踪和轮廓跟踪。点目标跟踪采用一个或多个点来建模视觉目标；基于核的跟踪方法具有运算简单快捷的优点,近年来在视觉跟踪中获得了广泛的应用，但核跟踪当中目标形状表达常常采用诸如椭圆，矩形等简单的几何基元，因此难以准确提取变形目标的复杂轮廓。而视觉目标形状的准确提取是上述提到的诸多应用的关键所在，只有轮廓跟踪或者说曲线跟踪可以给出这种信息。

轮廓模型跟踪的基本思想是将序列图像中的目标建模为平面曲线——即进化的主动轮廓，根据视频信息在空间和时间上的相关性，确定目标在视频中的位置和姿态。可将轮廓模型分为参数轮廓模型和几何轮廓模型两类,前者的曲线表达采用了显式参数化描述,而后者则将曲线表达嵌入在高维函数水平集中(Level set)。前者的优点是计算复杂性较低，缺点是不具有拓扑自适应性，后者的优点是具备拓扑自适应性和计算稳定，不足是计算代价较高。

Terzopoulos从拉格朗日动力学原理出发分别定义了动能、势能、阻尼项，并推导出统一形状与运动描述的动态变形模型，表示为一时变的并具惯性的动态轮廓，运动方程本身表达了一种基于力平衡的跟踪机制，形状约束为一般性的平滑性约束，缺点是***维数太高，容易受到噪声影响；Peterfreund提出了速度蛇，将光流估计、主动轮廓模型、卡尔曼滤波有机的结合在一起，在一定程度上能有效处理噪音、遮挡和复杂背景，不足是变形维数过高，计算复杂；为了解决有杂物等复杂背景下多峰值观测模型的轮廓跟踪问题，Isard提出了条件概率传播算法，即Condensation算法，条件概率传播算法结合随机动力学模型与加权采样随着时间的前进传播关于形状与位置完整的概率分布，所产生的滤波器可以健壮的跟踪复杂背景下的目标运动，Condensation算法的不足是：与卡尔曼滤波方法相比，计算代价仍然过高，如果量测模型建模不合理，则无论怎样增加样本数也不会提高跟踪性能。

几何轮廓模型最早由Malladi和Caselles分别提出，思想源于Oshier和Sethian所提出的解决以曲率相关速度沿法线方向前进的边界传播问题的水平集方法。曲线为高维函数的零水平集合,曲线进化由高维函数进化求得。产生的运动公式可由满足熵条件的有限差分方法逼近计算，从图像中得到的速度项用来在图像边缘处终止边界的传播。

水平集方法最早是由J.Sethian和S.Osher提出的界面传播研究中逐步发展起来的，它是处理封闭运动界面随时间演化过程中几何拓扑变化的有效计算工具。水平集方法的基本思想是将平面闭合曲线隐式的表达为二维曲面函数的水平集，即具有相同函数值的点集，通过曲面进化隐式的求解曲线的运动。这种方法的优点在于它能够自然的处理拓扑结构的变化，并且提供了稳定的数值算法。

协方差跟踪算法的基本过程如下：

1）对视频序列的每一帧图像，提取相应的特征图。对任意给定一帧图像I(x,y)（图像可以是一维灰度图像、三维彩色图像等等），设它的宽度和高度分别为W和H，对图中的每一个像素，为其建立一个特征向量f(x,y),它可以由图像的像素坐标、图像彩色或灰度信息、图像梯度，图像边缘方向等元素构成，例如，可以取记它的维数为d维，由此，可以从图像I(x,y)中提取出一个W×H×d维的特征图F(x,y)

F(x,y)＝(I,x,y)

显然，f(x,y)∈F(x,y)。

2）对图像中给定的目标区域R，建立一个d×d维协方差矩阵C_R作为区域描绘子

$C_R=\frac{{\∫}_R(f(x,y)-\stackrel{\‾}{f_R}){(f(x,y)-\stackrel{\‾}{f_R})}^T\mathrm{dxdy}}{{\∫}_R\mathrm{dxdy}}$

其中，

是区域R所有像素点对应特征向量的均值，记为

3）给定一个模板协方差矩阵C_T和当前帧候选目标区域的协方差矩阵C_R，通过极小化二者的协方差距离可以找到正确的目标区域。

发明内容

本发明的目的是在现有的主动轮廓跟踪的基础上，将特征协方差矩阵作为区域描述子，提出了一种基于协方差匹配的主动轮廓跟踪方法，利用非欧氏几何建模图像区域能量项，使得跟踪结果更加准确。

本发明的目的是通过下述技术方案实现的。

本发明的一种基于协方差匹配的主动轮廓跟踪方法，该方法的具体过程为：

当有模板时：

利用非欧氏几何方法建立有模板的水平集框架下的图像能量模型，根据建立的图像能量模型泛函推导出梯度下降流，然后更新水平集函数；

水平集框架下的图像能量模型泛函定义为：

${\mathrm{\ρ}}_{i,1}\left(\mathrm{\φ}\right)={\mathrm{\λ}}_1{\left|\right|\log C_R\left(\mathrm{\φ}\right)-\log C_T\left|\right|}_F-{\mathrm{\λ}}_2{\left|\right|\log C_{R^C}\left(\mathrm{\φ}\right)-\log C_T\left|\right|}_F$

λ₁，λ₂是控制前景与背景信息的权重，C_R(φ)和

分别表示曲线内、外部区域的协方差，C_T表示模板的协方差；显然，极小化能量泛函ρ_i,1(φ)就意味着极小化候选目标区域与模板的协方差距离同时极大化候选背景区域与模板的协方差距离；完整的能量泛函为：

ρ(φ)＝λ₁ρ_i，11(φ)-λ₂ρ_i,12(φ)+αρ_s(φ)+βρ_r(φ)

式中ρ_i，11(φ)，ρ_i，12(φ)，ρ_s(φ)，ρ_r(φ)分别代表图像能量前景项，图像能量背景项，形状能量项以及惩罚能量项，λ₁，λ₂，α，β表示权重。

具体步骤如下：

1）在第一帧，手动初始化包围目标的曲线，为曲线包围的区域建立协方差矩阵作为目标轮廓的模板；

2）在获得了目标的轮廓之后，记录模板的水平集函数值为先验形状做准备并计算模板的符号化距离函数；

3）从下一帧图像开始，由上一帧的结果，根据建立的能量泛函推导出梯度下降流，然后更新水平集函数；

4）检测迭代是否终止，这里采用的迭代终止准则：（a）计算当前零水平集内部的协方差矩阵与先验目标轮廓内部的协方差矩阵之间的距离，如果小于一个阈值，迭代终止，反之继续迭代；（b）迭代次数的限制；

5）转到步骤3）。

上述步骤2）之前还可以做如下处理：由于手工选择可能存在误差，可以利用传统的几何主动轮廓线模型（如C-V模型）对目标轮廓分割处理，使得轮廓更加接近真实的目标。

当模板不存在时：

我们可以直接极大化前景协方差矩阵和背景协方差矩阵的不匹配度，从而实现基于图像分割的目标跟踪。由此，我们的第二种图像能量模型可定义为

${\mathrm{\ρ}}_{i,2}\left(\mathrm{\φ}\right)={\left|\right|\log C_R\left(\mathrm{\φ}\right)-\log C_{R^C}\left(\mathrm{\φ}\right)\left|\right|}_F$

根据上式，当候选目标区域与候选背景区域的协方差距离达到最大时，便可将目标区域从背景区域中提取出来。

具体步骤如下：

1）读取图片，手动或半自动初始化包围目标的曲线，曲线可是规则或不规则的，且不能离目标太远；

2）分别为曲线内部和外部建立协方差矩阵，并计算符号化距离函数；

3）由上一次的迭代结果，根据建立能量泛函推导出的梯度下降流，更新水平集函数；

4）检测迭代是否终止，这里采用的迭代终止准则：（a）计算当前零水平集内部的协方差矩阵与外部的协方差矩阵之间的距离，如果大于一个阈值，迭代终止，反之继续迭代；（b）迭代次数的限制（设定上限次数，保证运行速度）。

5）转到步骤3）。

有益效果

本发明所提出的算法利用对数欧几里德度量准则建模主动轮廓跟踪模型中的图像能量项，这使得跟踪结果更加准确，同时以协方差矩阵作为区域描绘子，综合考虑了图像序列中的各种信息及彼此之间的相关性，不依赖于前、背景信息的分布，使跟踪方法更具有普适性。

附图说明

图1是本发明实施例的跟踪结果图。

具体实施方式

下面结合实施例对本技术方案的应用加以详细说明，并给出结果。

实施例

基于协方差匹配的主动轮廓跟踪方法；

采用某街道汽车图像序列为测试对象，分辨率为180x135，每隔一帧跟踪一次，总跟踪帧数为17帧，取白色轿车作为跟踪的目标，该序列的特点是，目标的形状存在一定的旋转变换，在汽车转弯过程中，利用该方法不仅可以准确的收敛到目标的边界，同时还可以估计旋转的角度、尺寸变化等。

具体步骤如下：

1）在第一帧，手动初始化包围白色轿车的曲线，为曲线包围的区域建立协方差矩阵作为白色轿车轮廓的模板，如图1中（a）所示，模板的符号化距离函数如图1中（b）所示；

2）由于手工选择存在误差，利用C-V模型对目标轮廓分割处理，使得轮廓更加接近真实的目标；

3）在获得了白色轿车的轮廓之后，记录模板的水平集函数值为先验形状做准备并计算模板的符号化距离函数；

4）从下一帧图像开始，由上一帧的结果，根据建立的能量泛函推导出梯度下降流，然后更新水平集函数；

5）检测迭代是否终止，这里采用的迭代终止准则：（a）计算当前零水平集内部的协方差矩阵与先验目标轮廓内部的协方差矩阵之间的距离，如果小于一个阈值，迭代终止，反之继续迭代；（b）迭代次数的限制；

6）转到步骤4）；

根据上述方法得到的第5帧、第7帧、第9帧、第11帧、第13帧、第17帧的跟踪结果如图1中（c）至（h）所示。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于协方差匹配的主动轮廓跟踪方法，其特征在于：建立有模板的水平集框架下的图像能量模型泛函，根据建立的图像能量模型泛函推导出梯度下降流，然后更新水平集函数；

有模板的水平集框架下的图像能量模型泛函定义为：

${\mathrm{\ρ}}_{i,1}\left(\mathrm{\φ}\right)={\mathrm{\λ}}_1{\left|\right|\log C_R\left(\mathrm{\φ}\right)-\log C_T\left|\right|}_F-{\mathrm{\λ}}_2{\left|\right|\log C_{R^c}\left(\mathrm{\φ}\right)-\log C_T\left|\right|}_F$

λ₁，λ₂是控制前景与背景信息的权重，C_R(φ)和

分别表示曲线内、外部区域的协方差，C_T表示模板的协方差；极小化能量泛函ρ_i，1(φ)即极小化候选目标区域与模板的协方差距离同时极大化候选背景区域与模板的协方差距离；

具体步骤如下：

1)在第一帧，手动初始化包围目标的曲线，为曲线包围的区域建立模板的协方差矩阵，然后利用几何主动轮廓线模型对目标轮廓分割处理，使得轮廓接近真实的目标；

2)在获得了目标的轮廓之后，记录模板的水平集函数值并计算模板的符号化距离函数；

3)从下一帧图像开始，由上一帧的结果，根据建立的图像能量模型泛函推导出梯度下降流，然后更新水平集函数；

4)检测迭代是否终止，这里采用的迭代终止准则：(a)计算当前零水平集内部的协方差矩阵与模板的协方差矩阵之间的距离，如果小于一个阈值，迭代终止，反之继续迭代；(b)迭代次数的限制；

5)转到步骤3)。

2.根据权利要求1所述的一种基于协方差匹配的主动轮廓跟踪方法，其特征在于：利用非欧氏几何方法建立有模板的水平集框架下的图像能量模型泛函。

3.根据权利要求2所述的一种基于协方差匹配的主动轮廓跟踪方法，其特征在于：几何主动轮廓线模型为C-V模型。

Images