CN106683111B - 时序性聚类的人体运动视频分割方法 - Google Patents

Abstract

本发明公开了一种时序性聚类的人体运动视频分割方法，具体包括：对视频帧特征提取后计算距离变换图，并进行K均值聚类等处理得到作为这些视频帧的特征输出的类标签向量。视频帧特征之间关系建模为视频帧的特征矩阵构建一个相关性矩阵M描述视频帧特征之间的关系，在获得相关性矩阵M后，对其执行图切算法，可以获得视频帧特征的聚类结果，并以此作为视频帧的分割结果，其中聚类结果中的每个类代表包含一个独立动作的视频段。本发明解决了人体运动视频分割中视频帧中人体运动特征相似性与时序性的融合问题，提高了分割精度，同时在计算视频帧关系时由于不需要进行迭代计算，因此提升了计算效率。

Description

时序性聚类的人体运动视频分割方法

技术领域

本发明属于图像视频处理领域，尤其涉及一种时序性聚类的人体运动视频分割方法。

背景技术

在《Temporal Subspace Clustering for Human Motion Segmentation》这篇文献中，作者提出在每一帧视频中提取人体图像的二值模板，通过距离变换形成距离变换图，由K均值聚类形成初步的聚类结果，将二值形式的聚类结果作为视频帧的特征。随后，作者在最小平方回归子空间聚类方法的基础上添加了一个与编码矩阵相关的拉普拉斯正则约束，用于形成视频帧特征时间关系的模型，通过交替方向乘子法求解出字典和编码矩阵。最后在编码矩阵上的图切方法将连续视频切割成包含独立动作的视频段。实验显示该方法在人体运动视频段切割的准确率和归一化互信息指标上有着较好的性能。

但是由于该方法采用了交替方向乘子法这类迭代求解的算法，在时间耗费上比较大，因此视频段切割的速度比较慢。另外该方法需要通过编码矩阵的时间拉普拉斯项来描述视频帧在时间上的关系，对于视频帧时间上的相关性描述较为复杂。

发明内容

针对上述技术问题，本发明提出一种时序性聚类的人体运动视频分割方法，更为全面地描述视频帧之间的关系，并提高计算效率。

为达到上述目的，本发明采用的技术方案为：

一种时序性聚类的人体运动视频分割方法，具体包括以下几个部分：视频帧的特征提取，视频帧特征之间关系的建模，相关性矩阵的求解，相关性矩阵上的图切。

视频帧特征提取：输入t帧视频，对每一视频帧进行背景减操作，提取出人体图像与背景图像，形成二值图，其中人体图像区域用白色表示，背景图像区域用黑色图像表示；对视频帧计算距离变换图，将距离变换图按列展开为一个列向量：对t帧视频上所获取的距离变换图展开的列向量进行K均值聚类，得到每一帧视频的二值形式的类标签向量，将类标签向量作为这些视频帧的特征输出。K均值聚类的类数量取值如下：当t＜＝50时，类数量就取值t，当t＞50，类的数量一般取值为50。

视频帧特征之间关系的建模：输入视频帧的特征集合{x₁，x₂，...，x_t}，其中x_h表示第h帧视频帧中所得到的二值形式的类标签向量，也即该帧视频的特征，h表示视频帧索引，其取值范围为1到t之间，这些特征构成一个特征矩阵X＝[x₁，x₂，...，x_t]。为了描述视频帧特征之间的关系，构建一个相关性矩阵M融合相似性度量和特征时序邻近性。矩阵M可以通过以下函数对M进行最小化得到：

同时满足M≥0(1)

Tr(AM)是计算矩阵AM的迹，λ是一个为正数的正则参数。通过对式(1)进行求导，可以得到关于M的约束方程，并以此求解得到相关性矩阵M

A则充当一个与时序相关的权值矩阵。其矩阵的行数、列数和矩阵X^TX一致，另外0表示行数、列数和矩阵X^TX一致的元素都为0的零矩阵；

max运算表示M中每个元素的取值取

对应元素值与0值之间的最大值。

相关性矩阵上的图切：在获得相关性矩阵M后，对其执行图切算法，可以获得视频帧特征的聚类结果，并以此作为视频帧的分割结果，也即聚类结果中的每一个类都包含一个独立动作所有的视频帧。

其中，相关性矩阵M一方面包含了视频帧特征之间的相似性度量，另一方面度量了视频帧特征在时序上的邻近性，为描述了视频帧特征在相似性和时序邻近性上的关系。

A充当一个与时序相关的权值矩阵。A每个元素的取值如下式所表示：

上式中，i、k分别表示矩阵中行索引、列索引。ε取值为10^-6。τ为时间窗口长度，τ取值为5～17。在上式中，权值A的设置使得在时序上相邻的元素在计算相似度时可以赋予更大的权值。

本发明具有以下有益效果：本发明解决了人体运动视频分割中视频帧中人体运动特征相似性与时序性的融合问题，提高了分割精度，同时在计算视频帧关系时由于不需要进行迭代计算，因此提升了计算效率。

附图说明

图1为本发明实施例的人体运动视频分割方法流程图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明。

人体运动视频段切割方法主要依赖于视频帧的相关性描述，大多数基于聚类的切割方法在构建视频帧相关性描述时，往往只考虑视频帧在特征上的相似性，而很少考虑视频帧在时间上的相关性。本实施例在保留视频帧之间相似性度量的同时，还加入了视频帧在时序上邻近性的度量，因此能够更为全面地描述视频帧之间的关系。另外，提升视频切割的速度也是关键。

如图1所示的人体运动视频分割方法流程：输入一段包含人体运动的视频，将每一帧彩***图像与相应的静态背景图像做减法，完成背景减除处理操作，获得人体图像区域，并将所提取的人体图像区域标定为白色，背景区域标定为黑色，获得一个二值图像，对二值图像进行距离变换得到距离变换图。将所有视频帧的距离变换图按列展开，形成列向量集合，在其基础上使用K均值聚类算法获得二值形式的类标签向量，该向量中用1表示其所属的类，0表示其不属于相应的类。

类标签向量[0，0，1，0]^T表示，相应的特征可以归为第三类，而不属于其它类。

将类标签向量作为视频帧的特征，在这些视频帧的特征基础上进行相关性矩阵M的求解。按照式2：

得到关于相关性矩阵M的解，上式中，A每个元素的取值如下式所表示：

上式中，i、k分别表示矩阵中行索引、列索引。ε取值为10^-6。在权值矩阵τ的设置上，在本实施例中其取值为τ＝9。

在得到相关性矩阵M后，对其执行图切算法，从而获得相应特征的聚类结果，进一步按照聚类结果将相应的视频切分为包含人体独立动作的视频段。

以上的实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.时序性聚类的人体运动视频分割方法，其特征在于，包括如下步骤：视频帧的特征提取，视频帧特征之间关系建模，相关性矩阵的求解，相关性矩阵上的图切；

视频帧特征提取：输入t帧视频，对每一视频帧进行背景减操作，提取出人体图像与背景图像，形成二值图；对视频帧计算距离变换图，将距离变换图按列展开为一个列向量；对t帧视频上所获取的距离变换图展开的列向量进行K均值聚类，得到每一帧视频的二值形式的类标签向量，将类标签向量作为这些视频帧的特征输出；

视频帧特征之间关系建模：输入视频帧的特征集合{x₁,x₂,…,x_t}，其中x_h表示第h帧视频帧的特征，h表示视频帧索引，其取值范围为1到t之间，这些特征构成一个特征矩阵X＝[x₁,x₂,…,x_t]；

相关性矩阵的求解：构建一个相关性矩阵M融合相似性度量和特征时序邻近性；

相关性矩阵M通过以下函数对M进行最小化得到：

Tr(AM)是计算矩阵AM的迹，λ是一个为正数的正则参数；对式(1)求导，得到关于M的约束方程，求解得到相关性矩阵M

A为一个与时序相关的权值矩阵，其矩阵的行数、列数和矩阵X^TX一致，另外0表示行数、列数和矩阵X^TX一致的元素都为0的零矩阵；

max运算表示M中每个元素的取值取对应元素值与0值之间的最大值；

相关性矩阵上的图切：在获得相关性矩阵M后，对其执行图切算法，获得视频帧特征的聚类结果，并以此作为视频帧的分割结果，也即聚类结果中的每一个类都包含一个独立动作所有的视频帧。

2.根据权利要求1所述的人体运动视频分割方法，其特征在于：类标签向量中用1表示其属于该类，0表示其不属于相应的类。

3.根据权利要求1所述的人体运动视频分割方法，其特征在于：相关性矩阵M包含视频帧特征之间的相似性度量，并度量视频帧特征在时序上的邻近性。

4.根据权利要求1至3之一所述的人体运动视频分割方法，其特征在于：A元素的取值如下式所表示：

上式中，i、k分别表示矩阵中行索引、列索引，ε取值为10^-6，τ为时间窗口长度。

5.根据权利要求4所述的人体运动视频分割方法，其特征在于：τ取值为5～17。

Images