CN101894379A - 一种针对大帧间运动视频的特征点运动分割方法和装置 - Google Patents

Abstract

本发明提出一种针对大帧间运动视频的特征点运动分割方法，包括以下步骤：对大帧间运动视频内的相邻两个视频帧分别进行特征点提取，并建立对所有特征点的特征向量描述；根据所述特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对；和根据平面单应变换，利用投票的方法进行特征点运动的分割。本发明利用平面单应变换，提出了能够有效的刻画平面及近似平面物体运动的运动模型，进而实现复杂场景的特征点运动分割。

Description

一种针对大帧间运动视频的特征点运动分割方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种针对大帧间运动视频的特征点运动分割方法和装置。

背景技术

视频特征点运动分割是计算机视觉领域的一个重要且基础的问题。它在很多其他视频相关技术领域都有广泛的应用，如基于对象的视频编码、基于分割的立体视频生成、物体识别，图像检索等。正是由于视频特征点运动分割对众多视频相关技术有着至关重要的作用，视频特征点运动分割技术具有极高的科研和应用价值。

视频特征点运动分割技术处理的对象是一段视频序列，即两个或多个连续的视频帧。其目标是将相邻视频帧中的特征点运动进行合理的分类，使相同运动物体上的特征点被分到同一类中，不同物体上的特征点分到不同类中。它包括特征点运动的建立及特征点运动分类两个主要步骤。

特征点运动的建立一般分为特征点提取和运动求取两部分。特征点提取是指从图像上提取具有一定几何或颜色特征的图像区域，并在图像坐标系中定位该区域，同时建立对该特征点的描述符。运动求取是在相邻帧中与本帧特征点位置接近的区域寻找描述符最相近的特征点，两特征点位置的差别即表征了特征点运动。然而对于大帧间运动视频来说，由于两帧差别较大，特征点的运动较大，因此传统的运动求取方法难以找到特征点正确的运动位置。

在特征点运动建立之后，还需要根据特征点运动的差别，对特征点运动进行分类，从而实现特征点运动分割。特征点运动分类的目标是将不同运动物体上的特征点运动完全分开，然而，相同物体的各个部分在图像上的运动可能各不相同，不同物体上的特征点也可能出现相近或相同的运动，这些都给特征点运动分类带来较大的困难。

发明内容

本发明的目的是解决大帧间运动视频中的特征点运动分割问题。在特征点运动提取上，本发明使用特征匹配的方法，实现对大帧间运动视频的特征点运动提取。在特征点运动分类上，本发明利用平面单应变换，提出了能够有效的刻画平面及近似平面物体运动的运动模型，进而实现复杂场景的特征点运动分割。

为达到上述目的，本发明一方面提出了一种针对大帧间运动视频的特征点运动分割方法，包括以下步骤：对大帧间运动视频内的相邻两个视频帧分别进行特征点提取，并建立对所有特征点的特征向量描述；根据所述特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对；和根据平面单应变换，利用投票的方法进行特征点运动的分割。

本发明另一方面还提出了一种针对大帧间运动视频的特征点运动分割装置，包括：特征点提取模块，用于对大帧间运动视频内的相邻两个视频帧分别进行特征点提取，并建立对所有特征点的特征向量描述；匹配特征点对获取模块，用于根据所述特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对；和运动分割模块，用于根据平面单应变换，利用投票的方法进行特征点运动的分割。

本发明使用特征点匹配的方法求取运动，在相邻帧中进行第二次特征点提取，之后对两帧间的特征点进行特征匹配，以匹配特征点的坐标差别表征特征运动，从而实现了大帧间运动视频的特征点运动的建立。

另外，本发明提出的特征点运动分类方法，可以利用平面单应变换，对场景中的平面物体或近似平面物体的运动进行了很好的刻画，使得对该类物体上特征点的运动分类取得了很好的效果。同时，本发明的特征点运动分类方法能够实现对错误特征点运动的自动去除，有效地提高了算法对错误运动求取的鲁棒性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为平面单应变换示意图；

图2为本发明实施例的针对大帧间运动视频的特征点运动分割方法流程图；

图3为本发明实施例的针对大帧间运动视频的特征点运动分割装置结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了能对本发明有更清楚的理解，以下首先对本发明所要采用的SIFT特征提取算法和平面单应变换进行简单介绍：

1、SIFT特征提取算法

SIFT特征提取算法能够在图像中找到具有特征的纹理区域，并且精确计算出这一区域在图像中的二维坐标，用特征点的概念表示该区域，用高维特征向量描述特征点。理论上，这一描述在特征点发生平移，伸缩或旋转时将不会发生变化，同时，该特征对图像明暗变化也有很强的不变性。

2、平面单应变换

对于三维空间中某个二维平面上的点，平面单应变换描述了这些点向两个二维相机平面投影的关系。具体地说，三维空间中，某个平面上的点，其在两个不同的相机平面上投影的三维齐次坐标之间满足如下的关系：

其中，

和

为该点在两个相机平面上投影的齐次坐标，H由三维空间中的平面和这两个相机决定，其即为本发明所讨论的平面单应变换，约束着平面上的所有点。矩阵H中有9个元素，但实际上只有8个自由度，因此只需平面上4对互不相关的特征点对就可以完成对的H估计。如图1所示，为平面单应变换示意图。在我们的研究中，场景中的物体被认为距离相机比较远，或者物体只有一个面被相机拍摄，在这种假设下，场景中的物体可以被近似为一个平面，他们的运动可以用平面单应变换描述。

如图2所示，为本发明实施例的针对大帧间运动视频的特征点运动分割方法流程图，包括以下步骤：

本发明提出的视频特征点运动分割中方法，如图2所示，包括以下两个步骤：

步骤S201，对视频中相邻两帧进行SIFT特征点提取，并利用SIFT特征点的特征描述符建立两帧间特征点的匹配。需要说明的是，在本发明实施例中采用SIFT特征点提取方法，但是本领域技术人员应当意识到采用其他特征点提取方法也可应用至本发明中，因此也应包含在本发明的保护范围之内。该步骤具体包括以下两步：

(11)基于SIFT的特征提取算法提取视频序列相邻两帧的所有特征纹理区域(特征点)，一方面建立对所有特征点的特征向量描述，另一方面对特征点的图像坐标进行精确定位。

(12)根据特征点的特征向量描述，利用特征匹配算法寻找相邻两帧特征点的匹配关系，使在两帧中描述同一空间点的特征点实现匹配，得到匹配特征点对。

步骤S202，根据平面单应变换，利用投票的方法对匹配特征点进行分类，去除错误的匹配，实现特征点运动分割，具体包括以下两步：

(21)从匹配特征点对中合理的抽取部分点对，进行初始平面单应变换估计。

(22)所有匹配特征点对向所有初始平面单应变换投票，根据投票结果去除错误的平面单应变换，合并表示相同运动的平面单应变换，并将正确的匹配特征点对分配给相应的平面单应变换，每个平面单应变换包含的匹配特征点对表示同一类的特征点运动，从而实现特征点运动分割。

为了能够对本发明上述实施例有更清楚的认识，以下为应用上述方法生成视频帧深度图的一个实施例，其中以相邻两视频帧A，B为例，描述特征点运动分割的过程。

首先，对A，B两视频帧分别进行SIFT特征点提取。每帧都得到一定数目的特征点，每个特征点都对应一个高维向量来描述这个特征点。

其次，对两帧中的特征点进行特征点匹配。首先定义任意两特征点的距离为它们对应高维向量的欧式距离。其次，对于A帧中的一个特征点，计算其与B帧中中任意特征点的距离，如果B帧中某特征点满足下述两个条件，则将该特征点视为A帧中特征点的候选匹配特征点。两个条件描述如下：1)此特征点是B帧的所有特征点中离A帧特征点最近的特征点；2)两特征点的距离(最近距离)与次近距离的比值要小于TQ(一般取0.6-0.8之间)。再次，调换A帧和B帧，再进行一遍上述操作，如果两帧中的两个特征点在两次操作中都把对方判断为自己的候选匹配特征点，则两特征点为最终的匹配特征点对，两个特征点的位置差别描述了特征点的运动。

再次，进行初始平面单应变换的估计。在我们的估计中，首先假设同一物体上的特征点运动比较接近，因为任何物体在运动的过程中，其上运动都是连续变化的，较大的突变只能产生在不同物体之上。基于这样的假设，我们首先从每个特征点都估计一个初始单应变换。估计的方法是，取出一个特征点及另外5个本帧中与其二维运动差别最小的特征点共6个特征点进行一次平面单应变换估计，把估计到的变换作为初始平面单应变换。

最后，特征点对向初始平面单应变换投票，实现特征点运动分割。在我们估计到的这些初始变换中，如果使用的特征点对来自不同的运动物体，那么该初始变换将是完全错误的；如果两个初始变换用到的特征点对都来自同一物体，那么这样的两个初始变换描述的是同一运动物体，具有冗余性。首先，我们用如下公式检测一个特征点对是否满足一个平面单应变换。

${\left|\right|{\stackrel{\→}{x}}_k-H_l\·{\stackrel{\→}{x}}_k^{\′}\left|\right|}_2\left\{\begin{array}{cc}\≤\mathrm{\τ}& C_k\mathrm{satisfies}{H}_l\\ >\mathrm{\τ}& C_k\mathrm{doesnotsatisfy}{H}_l\end{array}\right.$

其中，

和

是特征点对Ck在两帧中的齐次坐标，τ为门限值，在本发明实施例中τ可取3～7。如果特征点对Ck满足初始单应变换Hl，则认为Ck向Hl投票一次。当每对匹配特征点都对每个初始变换完成上述检测之后，初始变换对应的投票箱中将包含一定数量的选票。分析投票过程，将发现投票结果具有以下两个性质：1)每对匹配特征点可以向多个初始变换投票；2)每个初始变换只对应一张来自某对匹配特征点的选票。投票之后，我们将对初始变换进行合并，如果两个初始变换有p％(p一般取70～80)以上的选票来自相同的特征点对，则认为这两个变换可能描述的是同一个物体的运动，因此将它们合并，选票也一起合并。这样，经过此步骤之后，变换的数目有所下降，更加接近场景中真实运动的数目。在合并变换之后，匹配特征点对的分类仍然不明确，因为一对特征点可能向多个变换投票，且经过合并之后，可能向同一个变换投票多次。因此，为了确定匹配特征点对的分类，我们计算特征点对向每个变换投票的票数，认为其属于投票最多的那个变换。对于错误匹配的特征点对，由于其描述的运动在场景中并不存在，因此其投票数量较少。本发明将投票次数少于q次(q一般取3-5)的特征点对认为是错误的匹配，直接从结果中去除。最终，每个变换中包含的所有特征点对属于同一类，即实现了特征点运动分割。

如图3所示，为本发明实施例的针对大帧间运动视频的特征点运动分割装置结构图。该特征点运动分割装置100包括特征点提取模块110、匹配特征点对获取模块120和运动分割模块130。特征点提取模块110用于对大帧间运动视频内的相邻两个视频帧分别进行特征点提取，并建立对所有特征点的特征向量描述。匹配特征点对获取模块120用于根据所述特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对。运动分割模块130用于根据平面单应变换，利用投票的方法进行特征点运动的分割。

本发明使用特征点匹配的方法求取运动，在相邻帧中进行第二次特征点提取，之后对两帧间的特征点进行特征匹配，以匹配特征点的坐标差别表征特征运动，从而实现了大帧间运动视频的特征点运动的建立。

本发明提出的特征点运动分类方法，利用平面单应变换，对场景中的平面物体或近似平面物体的运动进行了很好的刻画，使得对该类物体上特征点的运动分类取得了很好的效果。同时，本发明的特征点运动分类方法能够实现对错误特征点运动的自动去除，有效地提高了算法对错误运动求取的鲁棒性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种针对大帧间运动视频的特征点运动分割方法，其特征在于，包括以下步骤：

对大帧间运动视频内的相邻两个视频帧分别进行特征点提取，并建立对所有特征点的特征向量描述；

根据所述特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对；和

根据平面单应变换，利用投票的方法进行特征点运动的分割。

2.如权利要求1所述的方法，其特征在于，所述根据特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对进一步包括：

分别建立所述相邻两个视频帧中一帧相对于另一帧的候选匹配特征点；

如果所述相邻两个视频帧中两个特征点互为对方的候选匹配特征点，则这两个特征点就是匹配特征点对。

3.如权利要求2所述的方法，其特征在于，所述特征点为SIFT特征点。

4.如权利要求1所述的方法，其特征在于，所述根据平面单应变换利用投票的方法进行特征点运动的分割进一步包括：

根据从匹配特征点对中合理地抽取的部分匹配特征点获得初始平面单应变换；

根据所有匹配特征点对向所有初始平面单应变换进行投票，根据投票结果去除错误的平面单应变换，合并表示相同运动的平面单应变换，并将正确的匹配特征点对分配给相应的平面单应变换，其中，每个平面单应变换包含的匹配特征点对表示同一类的特征点运动。

5.如权利要求4所述的方法，其特征在于，其中，根据以下公式判断一个特征点对是否满足一个初始平面单应变换：

其中，

和

是特征点对C_k在两帧中的齐次坐标，τ为门限值，H_l为初始单应变换。

6.一种针对大帧间运动视频的特征点运动分割装置，其特征在于，包括：

特征点提取模块，用于对大帧间运动视频内的相邻两个视频帧分别进行特征点提取，并建立对所有特征点的特征向量描述；

匹配特征点对获取模块，用于根据所述特征点及对应的特征向量描述得到所述相邻两个视频帧之间的匹配特征点对；和

运动分割模块，用于根据平面单应变换，利用投票的方法进行特征点运动的分割。

7.如权利要求6所述的装置，其特征在于，所述特征点为SIFT特征点。

8.如权利要求6所述的装置，其特征在于，所述运动分割模块根据从匹配特征点对中合理地抽取的部分匹配特征点获得初始平面单应变换，并根据所有匹配特征点对向所有初始平面单应变换进行投票，根据投票结果去除错误的平面单应变换，合并表示相同运动的平面单应变换，以及将正确的匹配特征点对分配给相应的平面单应变换，其中，每个平面单应变换包含的匹配特征点对表示同一类的特征点运动。

9.如权利要求8所述的装置，其特征在于，其中，根据以下公式判断一个特征点对是否满足一个初始平面单应变换：

其中，

和

是特征点对C_k在两帧中的齐次坐标，τ为门限值，H_l为初始单应变换。

Images