CN103902966B - 基于序列时空立方体特征的视频交互事件分析方法及装置 - Google Patents

Abstract

本发明涉及一种基于序列时空立方体特征的视频交互事件分析方法及装置，该方法包括：基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；在每个时空立方体内提取对象轨迹、表观和局部运动描述子，并将提取的描述子组成特征片段；对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。该装置包括预处理模块、视频序列划分模块、时空立方体特征提取模块、时序特征重构模块和序列特征分类模块。本发明实现了对监控视频内容的高层语义层描述，并且利用基于动态时间对齐核函数的多核支持向量机，实现了变长序列特征分类，从而实现了对监控视频流交互事件的智能检测。

Description

基于序列时空立方体特征的视频交互事件分析方法及装置

技术领域

本发明属于计算机视觉技术领域，涉及监控视频交互事件分析方法，具体涉及一种基于序列时空立方体特征的监控视频交互事件分析方法，以及实现该方法的装置。

背景技术

随着监控摄像头广泛的应用于人们生活的方方面面，监控视频数据呈现***式的增长，如何智能地分析其中发生的感兴趣的事件，是一个富有挑战性的问题。在感兴趣的事件当中，有一部分是多对象交互事件，例如：打架、抢劫、凶杀和撞车等。为了能够在事件发生的早期报警，以及在事件发生之后协助侦查取证，针对这类事件的智能分析方法十分关键。

目前对这类事件的处理主要依赖目击者报警，然后调取相应时间段的监控视频来调查取证。但往往有些事件没有目击者，或者目击者不能及时报案，这就会导致对事件处理的延误。另外在取证阶段，如果不知道事件发生的确切时间或地点，就需要耗费大量的人力来查看监控视频数据。

现有的大部分智能监控***均是采用运动目标检测及速度估计的方式，来分析对象发生的事件，例如中国专利CN201020660336.8公开的监控***。这种分析方法缺乏针对对象局部运动特点的描述，不能够通过分析复杂事件的各个阶段前后因果关系，来判断复杂事件具体是什么类型。

发明内容

针对现有技术的局限性，本发明提出了一种基于序列时空立方体特征的监控视频交互事件分析方法及装置，可以对对象局部运动特点进行描述，通过分析复杂事件的各个阶段前后因果关系判断复杂事件的具体类型。

为实现上述目的，本发明采用如下技术方案：

一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括：

1）基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；

2）在每个时空立方体内提取对象轨迹、对象表观、对象局部运动描述子，并将提取的描述子组成特征片段；

3）对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。

进一步地，为了增强视觉特征的描述能力，上面步骤1）划分时空立方体的实现方法包括如下子步骤：

a）对象检测跟踪：根据每帧视频内的梯度、形状、运动等信息，结合目标对象的特点，检测出对象的位置及运动轨迹；

b）选择对象对：对于监控视频中出现的全部对象，利用已知的事件知识，选择出所有可能发生交互的对象对，截取每对对象共同出现的视频段；

c）时空立方体划分：对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体。

进一步地，上面步骤2）中各描述子为：

对象轨迹描述子：其包括的轨迹信息是：两个对象之间的平均距离、两个对象之间速度方向夹角、两个对象区域的重叠面积；

对象表观描述子：在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；

对象局部运动描述子：在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。

进一步地，上面步骤3）所述重构的方法为：将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。

进一步地，为了适应同一类事件持续时间可能不同这一特点，本发明提出的序列时空立方体特征也是变长的，根据事件发生的具体情况及具体时长（帧数）而定。

进一步地，采用动态时间对齐核函数来计算时空立方体特征的相似性，利用多核支持向量机来学习、分类视频段。

一种采用上述方法的基于序列时空立方体特征的视频交互事件分析装置，其包括：

预处理模块，用于检测并跟踪监控视频中感兴趣的对象；

视频序列划分模块，连接所述预处理模块，基于检测跟踪结果将监控视频自适应地划分成时空立方体序列；

时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；

时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；

序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。

进一步地，所述时空立方体特征提取模块包括对象轨迹描述子提取单元、对象表观描述子提取单元和对象局部运动描述子提取单元。对各提取单元分别说明如下：

对象轨迹描述子提取单元：在每个时空立方体内提取的轨迹信息包括：两个对象之间的平均距离，两个对象之间速度方向夹角，以及两个对象区域的重叠面积。

对象表观描述子提取单元：在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子。

对象局部运动描述子提取单元：在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。

本发明的基于序列时空立方体特征的监控视频交互事件分析方法，提出了新的监控视频事件描述特征——序列的时空立方体特征，基于检测跟踪结果，将监控视频序列自适应的分成若干阶段，在每个阶段内提取描述子，然后经过特征重构，利用描述子序列以及时间上邻接的描述子之间的变化信息构成刻画事件的特征，增强了特征的描述能力。

本发明通过对监控视频序列的自适应时空立方体划分，提取对象轨迹、表观、局部运动的特征信息，特征重构，实现了对监控视频内容的高层语义层描述，并且利用基于动态时间对齐核函数的多核支持向量机，实现了变长序列特征分类，从而实现了对监控视频流交互事件的智能检测。

附图说明

图1为实施例中基于序列时空立方体特征的视频交互事件分析装置的组成示意图；

图2为实施例中基于序列时空立方体特征的视频交互事件分析方法的步骤流程图；

图3为实施例中基于检测跟踪的时空立方体划分方法示意图；

图4为实施例中单个时空立方体内特征片段提取示意图；

图5为时实施例中序时空立方体特征重构示意图。

具体实施方式

下面通过具体实施例，并配合附图，对本发明做详细的说明。

图1为本实施例的基于序列时空立方体特征的视频交互事件分析装置的组成结构图，其包括：预处理模块，用于检测并跟踪监控视频中感兴趣的对象；视频序列划分模块，连接所述预处理模块，用于基于检测跟踪结果将监控视频自适应地划分成时空立方体序列；时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。

图2为本实施例的基于序列时空立方体特征的视频交互事件分析方法的流程图，对其具体说明如下：

1）将监控视频序列划分成若干时空立方体，如图3所示。

首先，对输入的视频序列进行对象检测及跟踪，得到对象的位置和轨迹信息；然后以对象对（两个对象）为基本处理单位，对每一个对象对，截取他们共同出现的视频段，分析每个对象的轨迹变化，以及两个轨迹的关系，以变化剧烈的时间点作为分隔点，将视频段在时空域分成若干立方体，即时空立方体。采用“对象对”有利于研究对象之间的交互关系。

2）在每个时空立方体内提取轨迹、表观、局部运动描述子，组成特征片段，如图4所示。

在每个时空立方体内，提取轨迹关系、梯度、光流信息，分别来表征两个对象的关系、表观、局部运动特点；包括如下提取单元：

对象轨迹特征提取单元：在每个时空立方体内提取的轨迹信息，包括：两个对象之间的平均距离、两个对象之间速度方向夹角、两个对象区域的重叠面积；

对象表观特征提取单元：在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近的梯度直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；

对象局部运动特征提取单元：在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近的光流直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。

每个时空立方体内取到的描述对象对关系、表观、局部运动的描述子组合在一起构成一个特征片段，时间域相邻的特征片段之间的差异描述了对像对的动态变化信息。

3）针对所有时空立方体内的特征片段进行重构，构建序列时空立方体特征，利用重构的特征进行交互事件分类检测，如图5所示。该步骤具体包括：

a)利用视频段内的一系列特征片段以及特征片段的时域差分信息进行特征重构，将其串联排列成一个时空立方体特征；

b)采用动态时间对齐核函数来计算时空立方体特征的相似性，利用支持向量机来学习、分类视频段；

c)对已经标注好的交互事件视频段提取时空立方体特征，作为正样本，随机选取其他无关视频段，对其提取时空立方体特征并作为负样本，运用基于动态时间对齐核函数的支持向量机来进行训练，得到分类模型；

d）运用已经得到的分类模型对未知视频段进行分类，输出分类结果。得到该分类结果后，还可以进行结果筛选等后续处理环节。

下面提供一个具体应用实例，该实例采用的视频为交通监控视频。

输入一段交通监控视频，首先进行车辆检测，得到每一帧图像中车辆的位置区域R₁,R₂,…R_n。其中R_i=(x,y，width,height)，表示车辆位置区域的起始点坐标和车辆的长和宽。然后利用跟踪算法，对于每个车辆进行跟踪，从而得到车辆的连续的位置轨迹T₁,T₂,…,T_m,其中t为视频帧号，i(t)表示第t帧图像中标号为i的对象。

对于两个车辆轨迹T_i,T_j，截取他们共同出现的一段时间（如果没有则判定未发生异常事件）。然后按照以下规则将该段视频分成若干时空立方体：1）从起始帧往后扫描，如果两个对象距离大于L，则划入第1个时空立方体，直到某一帧距离小于L；2）从该帧开始，以K帧为单位，将剩余视频段划分成若干时空立方体；3）每段时空立方体内，以对象的覆盖区域为目标，截取视频中对象信息。

然后对于上一步获得的时空立方体序列，首先提取对象的轨迹描述子，描述两个对象的关系。轨迹描述子的提取方法如下：

（公式1）

其中，分别表示平均距离、平均相对速率以及平均重迭区域，k为时空立方体标号，并且

（公式2）

其中，表示的是轨迹描述子在时间域上的差分信息。然后在每个立方体内对对象区域密集地选取特征点，在特征点周围提取梯度直方图（HOG）作为表观描述子，提取光流直方图（HOF）作为运动描述子。利用k-均值算法按照如下步骤构造每个时空立方体内的特征包描述子：

1）随机选取10万特征点作为样本，利用k均值算法聚类，得到聚类中心；

2）以聚类中心点为码本，量化所有特征点；

3）在每个时空立方体内，构造所有量化后特征点的统计直方图。

然后对所提取的轨迹及特征包描述子进行特征重构，将相同类别的描述子串联到一起，分别形成描述子序列，不同类别描述子序列分别处理。在特征重构阶段，如果一对轨迹的长度超过了某一固定帧数N，例如1500帧，那么需要以N为滑动窗，以S为步长，进行滑动，并在每个滑动窗内构造序列特征。

令X=(x₁,x₂，...,x_k)为一个序列特征，x_i为第i个时空立方体的轨迹描述子或特征包描述子，由于时空立方体特征是时序特征，本发明采用时间序列核函数来比较时空立方体特征的相似性。核函数的定义为：

（公式3）

其中：

1≤θ(i)≤θ(i+1)≤|V|,θ(i+1)-θ(i)≤Q，

Q是控制局部连续性的约束常数，和θ表示一条对齐路径，N是该对齐路径的长度，w(i)是非负权值系数，

支持向量机利用标定样本训练一个高维空间的分类超平面，来分类数据。给定一组训练数据S={(X₁,y₁),(X₂,y₂)…,(X_n,y_n)},利用时间对其核函数和支持向量机最小化如下函数：

（公式4），

对于所有的i=1，…,n，满足C≥α_i≥0，并且其中α为朗格朗日乘数，Ｃ为拉格朗日乘数的约束常数。通过训练得到满足条件的α，则对于未知序列特征Z，其分类结果通过函数

（公式5）

来判断是否为感兴趣的事件，其中ｂ为分类超平面的偏移常数。由于一段视频中的一对对象由三种特征共同描述（轨迹、表观和局部运动特征），通过公式5只使用了一种特征做判断，联合使用三种特征时，需要用到多核的支持向量机。多核的支持向量机将公式4和公式5中的单个核函数换成多个核函数的加权：

其中和分别表示轨迹、表观和局部运动特征，λ₁，λ₂和λ₃为三类特征的加权系数。

应理解的是本发明提供的分析方法能够在不同的实例上具有各种变化，基于本发明思想的各种变化的实例皆不脱离本发明的范围；且本发明中的附图在本质上作为说明之用，是为解释说明本发明的技术方案，而非用以限制本发明。

Claims (8)

1.一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括：

1)基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；该步骤包括如下子步骤：

a)根据每帧视频内的梯度、形状和运动信息，并结合目标对象的特点，检测出对象的位置及运动轨迹；

b)对于监控视频中出现的全部对象，利用已知的事件知识选择出所有可能发生交互的对象对，并截取每对对象共同出现的视频段；

c)对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体；

2)在每个时空立方体内提取对象轨迹描述子、对象表观描述子和对象局部运动描述子，并将提取的描述子组成特征片段；

3)对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测；所述重构的方法为：将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。

2.根据权利要求1所述的方法，其特征在于，所述对象轨迹描述子包括的轨迹信息是：两个对象之间的平均距离、两个对象之间速度方向夹角和两个对象区域的重叠面积。

3.根据权利要求1所述的方法，其特征在于：在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成所述对象表观描述子；在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成所述对象局部运动描述子。

4.根据权利要求1所述的方法，其特征在于：所述序列时空立方体特征是变长的，根据事件发生的具体情况及具体时长而定。

5.根据权利要求1所述的方法，其特征在于：采用动态时间对齐核函数计算时空立方体特征的相似性，利用多核的支持向量机学习、分类视频段。

6.一种采用权利要求1所述方法的基于序列时空立方体特征的视频交互事件分析装置，其特征在于，包括：

预处理模块，用于检测并跟踪监控视频中感兴趣的对象；

视频序列划分模块，连接所述预处理模块，用于基于检测跟踪结果采用以下步骤将监控视频自适应地划分成时空立方体序列：a)根据每帧视频内的梯度、形状和运动信息，并结合目标对象的特点，检测出对象的位置及运动轨迹；b)对于监控视频中出现的全部对象，利用已知的事件知识选择出所有可能发生交互的对象对，并截取每对对象共同出现的视频段；c)对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体；

时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；

时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；

序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。

7.根据权利要求6所述的装置，其特征在于：所述时空立方体特征提取模块包括对象轨迹特征提取单元、对象表观特征提取单元和对象局部运动特征提取单元。

8.根据权利要求7所述的装置，其特征在于：

所述对象轨迹描述子提取单元在每个时空立方体内提取的轨迹信息包括：两个对象之间的平均距离，两个对象之间速度方向夹角，以及两个对象区域的重叠面积；

所述对象表观描述子提取单元在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；

所述对象局部运动描述子提取单元在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。