CN105513094A - 基于三维Delaunay三角剖分的立体视觉跟踪方法及*** - Google Patents

Abstract

一种基于三维Delaunay三角剖分的立体视觉跟踪方法及***，使用三维SIFT算法实现对原始图像进行三维SIFT特征点的提取，然后通过计算候选模型与目标模型之间欧氏距离实现三维SIFT特征点的粗匹配；再对匹配后的三维SIFT特征点进行三维Delaunay三角剖分，利用剖分形成的空间几何约束，对候选模型和目标模型三维SIFT特征点进行细匹配，在粒子滤波目标跟踪框架下实现对目标进行跟踪。本发明利用三维SIFT特征点的拓扑结构相似性进行匹配可以很好的去除不匹配点，特征点匹配精度更高，跟踪效果更好。

Description

基于三维Delaunay三角剖分的立体视觉跟踪方法及***

技术领域

本发明涉及的是一种图像处理和立体视觉跟踪领域的技术，具体是一种基于三维Delaunay三角剖分的立体视觉跟踪方法及***。

背景技术

视觉目标跟踪是计算机视觉领域的一个重要研究方向，它结合了计算机图像处理、视频图像处理、模式识别、人工智能以及机械控制等诸多相关领域的知识，被广泛应用于智能监控、目标识别、交通监视等方面。

传统的运动目标跟踪大多为基于单目视觉的方法。目前，单目视觉目标跟踪算法已经比较成熟，在很多领域和方面都取得了不错的发展。然而单目视觉也存在很大缺陷，单目视觉信息量小，图像在投影过程中丢失了实际场景的三维信息，不能充分利用跟踪目标的立体结构信息，因此有着不可弥补的缺陷。在采用基于单目视觉的方法进行运动目标跟踪时，常常存在着目标遮挡以及周围场景光线变化和阴影的干扰等问题。立体视觉可以求取景物的三维信息，运用场景的三维信息跟踪目标，可以有效地解决场景光线变化和阴影的干扰以及遮挡等单目视觉中难以解决的问题。

近年来，随着三维技术的发展和进步，三维模型的获取变得越来越便捷，立体视觉跟踪算法研究也得到了发展。立体视觉弥补了单目视觉对目标信息获取不充分的缺点，可以充分利用目标的空间结构信息以及位置信息。基于RGB-D的目标跟踪最近很受欢迎，它同时利用了颜色信息和深度信息。比如RGB-DHOG，它从RGB图像和深度图像同时计算方向梯度直方图。RGB-DHOG特征描述了局部颜色纹理以及三维形状。然而，它并没有充分利用目标的空间结构信息，对变形严重的目标跟踪不稳定。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于三维Delaunay三角剖分的立体视觉跟踪方法及***，采用三维SIFT特征点来描述目标特征，并采用三维Delaunay三角剖分构建目标特征三维空间约束。因为三维空间特征点信息比二维空间更加充分，因而利用三维SIFT特征点的拓扑结构相似性进行匹配可以很好的去除不匹配点，特征点匹配精度更高，从而跟踪效果更好。

本发明是通过以下技术方案实现的：

本发明涉及一种基于三维Delaunay三角剖分的立体视觉跟踪方法，使用三维SIFT算法实现对原始图像进行三维SIFT特征点的提取，然后通过计算候选模型与目标模型之间欧氏距离实现三维SIFT特征点的粗匹配；再对匹配后的三维SIFT特征点进行三维Delaunay三角剖分，利用剖分形成的空间几何约束，对候选模型和目标模型三维SIFT特征点进行细匹配，在粒子滤波目标跟踪框架下实现对目标进行跟踪。

本发明具体包括如下步骤：

步骤A，从原始图像的第一帧开始，进行三维SIFT特征点的提取：SIFT(Scale-InvariantFeatureTransform)是一种检测局部特征的算法，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也有一定程度的稳定性。这里把二维空间的SIFT特征提取扩展到三维空间，应用于三维点云的特征提取，具体步骤如下：

步骤A1：检测由DOG空间的局部极值点组成的关键点：为了寻找DOG函数的极值点，每个样点需要与它的邻近点比较，当该点的DOG算子值为邻域内的极值，即DOG函数的极值点，则将该点定义为关键点。

步骤A2：生成关键点的三维SIFT特征向量：以关键点邻域内的梯度方向分布特性，用直方图统计邻域像素的梯度方向，生成三维SIFT特征向量。

步骤B，对候选模型和目标模型提取的三维SIFT特征点进行粗匹配。

当目标包含N₁个三维SIFT特征点，用P表示目标模型，有其中：p_i表示目标模型的一个三维SIFT特征点。

再当第t帧时，候选目标模型有N₂个三维SIFT特征点，用Q表示，有其中：q_i是候选模型的一个三维SIFT特征点。

对任意特征点p_i，且p_i∈P，计算与Q中所有特征点的最短欧氏距离和次短欧氏距离，当最短欧氏距离和次短欧氏距离的比值小于某个阈值，则表示特征点p_i在Q中存在匹配的特征点。

步骤C，对匹配后的三维SIFT特征点进行三维Delaunay三角剖分，建立目标的三维表观模型：

当粗匹配后匹配点数为N，点集PS和QS分别代表粗匹配后的特征点ps_i和qs_i构成的目标模型和候选模型，即对点集PS，QS进行三维Delaunay三角剖分。

用表示空间拓扑结构相似性，表示点ps_i的邻接点，表示点qs_i的邻接点； $\begin{array}{cc}{\mathrm{ps}}_i=\underset{{\mathrm{ps}}_j\∈N_{{\mathrm{ps}}_i},j\≠i}{\Σ}{w_{ij}}^1{\mathrm{ps}}_j,& {\mathrm{qs}}_i=\underset{{\mathrm{qs}}_j\∈N_{{\mathrm{qs}}_i},j\≠i}{\Σ}{w_{ij}}^2{\mathrm{qs}}_j,\end{array}$ 其中：表示点ps_i的邻域的权重系数向量， $W_{{\mathrm{qs}}_i}=\left\{{w_{ij}}^2\right|{\mathrm{qs}}_j\∈N_{{\mathrm{qs}}_i},j\≠i\}$ 表示点qs_i的邻域的权重系数向量，和具有相同长度，通过计算和来比较点ps_i和qs_i的空间拓扑结构相似性。即： $G({\mathrm{ps}}_i,N_{{\mathrm{ps}}_i},{\mathrm{qs}}_i.N_{{\mathrm{qs}}_i})=\left|\right|W_{{\mathrm{ps}}_i}-W_{{\mathrm{qs}}_i}|{|}^2,$ 当小于匹配阈值，则可以认为点ps_i和qs_i是正确的匹配关系。

所述的权重系数向量和通过最小二乘法计算，因为最小二乘法在L2范数下可以得到最小的误差。此外，最小二乘法通常可以得到非零的权重系数，也就是说每个点都可以用其所有的邻域点进行描述。

步骤D，在粒子滤波框架下实现对目标进行跟踪：经过细匹配后，利用目标模型和候选模型间匹配特征点的个数描述模型间的相似度，通过相似度来描述粒子滤波跟踪框架中的观察模型，即其中：p_i∈P，map(p_i)表示匹配特征点的映射，map(p_i)∈Q，d(·)为：

本发明涉及一种实现上述方法的***，包括：依次连接的3DSIFT特征点检测模块、特征点粗匹配模块、三角剖分空间约束细匹配模块以及粒子滤波跟踪模块，其中：3DSIFT特征点检测模块从目标三维点云模型的原始信息中提取出3DSIFT特征点信息，特征点粗匹配模块针对3DSIFT特征点信息进行粗匹配并将粗匹配结果输出至三角剖分空间约束细匹配模块进行基于三维Delaunay的三角剖分空间约束细匹配，粒子滤波跟踪模块根据细匹配信息生成粒子滤波框架，并从粒子跟踪框架中获得目标跟踪信息。

附图说明

图1为三维SIFT特征提取；

图中：a为芭蕾者3DSIFT特征点提取；b为霹雳舞者3DSIFT特征点提取；c为芭蕾舞者局部3DSIFT特征点；d为霹雳舞者局部3DSIFT特征点；

图2为三维Delaunay三角剖分；

图中：a为芭蕾舞者3DSIFT特征点形成的三维Delaunay三角剖分；b为霹雳舞者3DSIFT特征点形成的三维Delaunay三角剖分；c为芭蕾舞者局部3DSIFT特征点三维Delaunay三角剖分；d为霹雳舞者局部3DSIFT特征点形成的三维Delaunay三角剖分；

图3为方法流程示意图；

图4为Ballet跟踪结果图；

图中：a为第1帧；b为第5帧；c为第10帧；d为第20帧；e为第30帧；

图5为Breakdance跟踪结果图；

图中：a为第1帧；b为第5帧；c为第10帧；d为第20帧；e为第30帧。

具体实施方式

本实施例涉及一种基于三维Delaunay三角剖分的立体视觉跟踪方法，首先提取候选目标特征，对其与目标模型进行粗匹配，然后对匹配后的特征点建立三维Delaunay三角剖分，利用三维Delaunay三角剖分的空间几何约束关系，对特征点进行细匹配。在粒子滤波框架下，对目标进行跟踪。

步骤1，三维SIFT特征提取，从视频第一帧开始处理，主要步骤如下：

步骤1.1：检测由DOG空间的局部极值点组成的关键点：为了寻找DOG函数的极值点，每个样点需要与它的邻近点比较，当该点的DOG算子值为邻域内的极值，即DOG函数的极值点，则将该点定义为关键点。

所述的DOG函数的极值点，通过以下方式得到：首先将原始图像与不同核值得高斯函数进行卷积运算构成高斯尺度空间，通过对高斯尺度空间采样，建立高斯金字塔，然后将高斯金字塔的相邻层做差分，得到DOG金字塔：

D(x,y,z,k_j,σ)＝(G(x,y,z,k_i,σ)-G(x,y,z,k_j,σ))*P(x,y,z)，即

D(x,y,z,k_j,σ)＝L(x,y,z,k_i,σ)-L(x,y,z,k_j,σ)，

其中：P(x,y,z)为物体的点云模型中点坐标，三维点云的尺度空间L(x,y,x,kσ)＝G(x,y,x,kσ)*P(x,y,z)，其中：_σ是尺度空间因子，k为尺度空间的高斯核值，G(x,y,z,kσ)是尺度可变的三维高斯核函数， $G(x,y,z,k\mathrm{\σ})=\frac{1}{2{\mathrm{\πk}}^2{\mathrm{\σ}}^2}{e}^{-(x^2+y^2+z^2)/2k^2{\mathrm{\σ}}^2}.$

所述的邻近点比较比较，优选为80个邻近点，包括26个与其同尺度相邻点和2×27个相邻尺度的相邻点。

步骤1.2：生成关键点特征，即三维SIFT特征向量：对于每一个检测到的关键点，以关键点邻域内的梯度方向分布特性为每个关键点指定方向参数，用直方图统计邻域像素的梯度方向，直方图的峰值代表该关键点邻域的方向，将该方向作为关键点的主方向；然后统计关键点邻域局部空间关系，计算邻域内各角度直方图，生成三维SIFT特征向量。

如图1所示，为两幅三维点云图像，其中：亮点即为提取的三维SIFT特征点。

步骤2，对候选模型和目标模型提取的三维SIFT特征点进行粗匹配：

当目标包含N₁个三维SIFT特征点，用P表示目标模型，有其中：p_i表示目标模型的一个三维SIFT特征点。在第t帧，候选目标模型有N₂个三维SIFT特征点，用Q表示，有其中：q_i是候选模型的一个三维SIFT特征点。

对任意特征点p_i，且p_i∈P，计算与Q中所有特征点的最短欧氏距离和次短欧氏距离，当最短欧氏距离和次短欧氏距离的比值小于距离阈值，则表示特征点p_i在Q中存在匹配的特征点。

本实施例中的距离阈值取值为：0.6。

步骤3，三维SIFT特征点细匹配：

步骤3.1：当粗匹配后匹配点数为N，点集PS和QS分别代表粗匹配后特征点ps_i和qs_i组成的目标模型和候选模型对PS，QS进行三维Delaunay三角剖分，如图2所示。

步骤3.2：表示点ps_i的邻接点，表示点qs_i的邻接点， ${\mathrm{qs}}_i=\underset{{\mathrm{qs}}_j\∈N_{{\mathrm{qs}}_i},j\≠i}{\Σ}{w_{ij}}^2{\mathrm{qs}}_j$

步骤3.3：令表示点ps_i的邻域的权重系数向量， $W_{{\mathrm{qs}}_i}=\left\{{w_{ij}}^2\right|{\mathrm{qs}}_j\∈N_{{\mathrm{qs}}_i},j\≠i\}$ 表示点qs_i的邻域的权重系数向量。和具有相同长度。通过最小二乘法计算和

步骤3.4：用表示空间拓扑结构相似性： $G({\mathrm{ps}}_i,N_{{\mathrm{ps}}_i},{\mathrm{qs}}_i.N_{{\mathrm{qs}}_i})=\left|\right|W_{{\mathrm{ps}}_i}-W_{{\mathrm{qs}}_i}|{|}^2,$ 当小于匹配阈值，则可以认为点ps_i和qs_i是正确的匹配关系。

本实施例中的匹配阈值取值为：0.1。

步骤4，粒子滤波目标跟踪：

本实施例以粒子滤波最为目标跟踪算法的框架对目标进行跟踪预测，粒子滤波框架主要包括动态模型与观测模型，其中：动态模型X_k＝f(X_k-1)+V_k，其中V_k为高斯分布；观测模型其中：p_i∈P，map(p_i)表示匹配特征点的映射，map(p_i)∈Q，d(·)为利用动态模型更新粒子位置，然后根据观察模型更新粒子权值，这里取最大权重粒子的位置为目标的位置，从而实现对目标的跟踪。

跟踪结果如图3、图4所示。立体框内为跟踪的目标。经测试，在Ballet测试中，击中目标率为95％，在Breakdance测试中，击中目标率为90％。这里，击中目标率指目标占据立体框的三分之二及以上。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于三维Delaunay三角剖分的立体视觉跟踪方法，其特征在于，使用三维SIFT算法实现对原始图像进行三维SIFT特征点的提取，然后通过计算候选模型与目标模型之间欧氏距离实现三维SIFT特征点的粗匹配；再对匹配后的三维SIFT特征点进行三维Delaunay三角剖分，利用剖分形成的空间几何约束，对候选模型和目标模型三维SIFT特征点进行细匹配，在粒子滤波目标跟踪框架下实现对目标进行跟踪。

2.根据权利要求1所述的方法，其特征是，具体包括如下步骤：

步骤A，从原始图像的第一帧开始，进行三维SIFT特征点的提取；

步骤B，对候选模型和目标模型提取的三维SIFT特征点进行粗匹配；

步骤C，对匹配后的三维SIFT特征点进行三维Delaunay三角剖分，建立目标的三维表观模型；

步骤D，经过细匹配后，利用目标模型和候选模型间匹配特征点的个数描述模型间的相似度，通过相似度来描述粒子滤波跟踪框架中的观察模型实现跟踪。

3.根据权利要求2所述的方法，其特征是，所述的步骤A包括：

步骤A1：检测由DOG空间的局部极值点组成的关键点：将每个样点需要与它的邻近点比较，当该点的DOG算子值为邻域内的极值，即DOG函数的极值点，则将该点定义为关键点；

步骤A2：生成关键点的三维SIFT特征向量：以关键点邻域内的梯度方向分布特性，用直方图统计邻域像素的梯度方向，生成三维SIFT特征向量。

4.根据权利要求2所述的方法，其特征是，所述的步骤B具体是指：当目标包含N₁个三维SIFT特征点，用P表示目标模型，有其中：p_i表示目标模型的一个三维SIFT特征点；再当第t帧时，候选目标模型有N₂个三维SIFT特征点，用Q表示，有其中：q_i是候选模型的一个三维SIFT特征点；

对任意特征点p_i，且p_i∈P，计算与Q中所有特征点的最短欧氏距离和次短欧氏距离，当最短欧氏距离和次短欧氏距离的比值小于某个阈值，则表示特征点p_i在Q中存在匹配的特征点。

5.根据权利要求2所述的方法，其特征是，所述的步骤C具体是指：当粗匹配后匹配点数为N，点集PS和QS分别代表粗匹配后的特征点ps_i和qs_i构成的目标模型和候选模型，即对点集PS，QS进行三维Delaunay三角剖分；

用表示空间拓扑结构相似性，表示点ps_i的邻接点，表示点qs_i的邻接点； ${\mathrm{ps}}_i=\underset{{\mathrm{ps}}_j\∈N_{{\mathrm{ps}}_i},j\≠i}{\Σ}{w_{ij}}^1{\mathrm{ps}}_j,{\mathrm{qs}}_i=\underset{{\mathrm{qs}}_j\∈N_{{\mathrm{qs}}_i},j\≠i}{\Σ}{w_{ij}}^2{\mathrm{qs}}_j,$ 其中：表示点ps_i的邻域的权重系数向量，表示点qs_i的邻域的权重系数向量，和具有相同长度，通过计算和来比较点ps_i和qs_i的空间拓扑结构相似性。即： $G({\mathrm{ps}}_i,N_{{\mathrm{ps}}_i},{\mathrm{qs}}_i.N_{{\mathrm{qs}}_i})=\left|\right|W_{{\mathrm{ps}}_i}-W_{{\mathrm{qs}}_i}|{|}^2,$ 当小于匹配阈值，则点ps_i和qs_i是正确的匹配关系。

6.根据权利要求5所述的方法，其特征是，所述的权重系数向量和通过最小二乘法计算，并且每个点都用其所有的邻域点进行描述。

7.根据权利要求5所述的方法，其特征是，步骤D中所述的相似度是指：其中：p_i∈P，map(p_i)表示匹配特征点的映射，

8.一种实现上述任一权利要求所述方法的立体视觉跟踪***，其特征在于，包括：依次连接的3DSIFT特征点检测模块、特征点粗匹配模块、三角剖分空间约束细匹配模块以及粒子滤波跟踪模块，其中：3DSIFT特征点检测模块从目标三维点云模型的原始信息中提取出3DSIFT特征点信息，特征点粗匹配模块针对3DSIFT特征点信息进行粗匹配并将粗匹配结果输出至三角剖分空间约束细匹配模块进行基于三维Delaunay的三角剖分空间约束细匹配，粒子滤波跟踪模块根据细匹配信息生成粒子滤波框架，并从粒子跟踪框架中获得目标跟踪信息。