CN103377479A - 事件检测方法、装置和***，以及摄像机 - Google Patents

Abstract

本发明公开一种事件检测方法、装置和***以及摄像机。所述事件检测方法包括：从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；根据每个区域的至少运动特征对所述区域进行区域事件检测；以及根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。本发明的方案兼具应用场景的通用性和事件判断的准确性。

Description

事件检测方法、装置和***,以及摄像机

技术领域

本发明涉及视频分析与理解领域，更具体而言，涉及一种对监控视频进行事件检测的方法、装置和***以及一种摄像机。

背景技术

事件检测是视频内容分析与理解中的一项重要技术。监控视频的智能分析应用对自动的事件检测技术有强烈的需求。与一般的内容未知的视频相比，监控视频具有场景固定且通常事先可知、关注事件类别有限、定义明确等特点。

视频监控应用中关注的与场景中的物体相关的事件大体上可以分为两类，一类可以概括为存在型事件，另一类则概括为运动型事件。存在型事件包括：特定区域中的特定类型物体的进入/出现以及离开/消失，或者特定类型物体沿特定方向进入/离开特定区域，或者特定类型物体在特定区域中存在时间满足特定的条件等等。这类事件在现有的方案中往往利用目标检测和跟踪等方法解决，并且取得了较好的实际效果。运动型事件的定义则主要针对场景中物体(例如人、车辆、动物等)的运动模式，比如监控场景中发生的跌倒、打斗、跑动等事件。

监控视频中的运动型事件检测一般主要包含两个核心步骤，即特征提取和模式分类。为了在模式分类步骤中获得较高的正确率，要求特征提取步骤所提取的特征具有良好的可区分性，即相同事件的特征具有较高的相似度，不同事件的特征具有明显的区别。然而，由于视频监控的场景不同、摄像机架设位置不同、事件在场景中发生的位置不同，一般的特征提取步骤所提取的特征很难保证相同事件的特征具有较高的相似度。这一问题导致的结果就是：在一些已有的场景中进行事件检测的训练，而在新的场景中应用训练所得的模型的方案难以在模式分类步骤中获得令人满意的分类正确率。现有的方案往往采用对每个新的监控场景进行分别训练，利用专门训练得到的分类模型来对新监控场景进行事件检测以来解决上述问题。但是这本身增加了视频监控***初始化的复杂度。而且，由于训练样本有限，这样的方案导致训练样本中往往不包含或者仅包含极少量的特定事件样本，尤其是视频监控中最为关注的极少发生的异常事件。而特定事件样本的缺乏，直接导致模式分类正确率的下降。虽然现有方案中采用的只需要非异常事件样本参与训练的单类支持向量机(One-class SVM)分类器规避了特定事件样本缺乏的问题，但是仍无法从根本上保证分类正确率达到样本充足情况下的水平。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的目的是提供一种事件检测方法、装置和***，以及摄像机，以解决现有技术的上述技术问题中的至少一个。

根据本发明的一个方面，提供了一种事件检测方法。所述事件检测方法包括：从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；至少根据每个区域的运动特征对所述区域进行区域事件检测；以及根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

优选地，所述事件检测方法还包括：从多组局部分类器中选择与所述区域的拍摄俯仰角对应的一组局部分类器；以及将所述区域的至少运动特征输入所选择的局部分类器，以对所述区域进行事件分类。

根据本发明的另一方面，提供了一种事件检测装置。所述事件检测装置包括：图像序列获取部件，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；特征提取部件，用于在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；区域事件检测部件，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及全局事件检测部件，用于根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

根据本发明的另一方面，提供了一种事件检测***。所述事件检测***包括：摄像机，用于获取监控场景的视频；以及事件检测装置，用于在所述视频中进行事件检测。所述事件检测装置包括：图像序列获取部件，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；特征提取部件，用于在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；区域事件检测部件，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及全局事件检测部件，用于根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

根据本发明的另一方面，提供了一种摄像机。所述摄像机包括：图像采集部件，用于获取监控场景的视频；以及事件检测部件，用于在所述视频中进行事件检测。所述事件检测部件包括：图像序列获取部件，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；特征提取部件，用于在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；区域事件检测部件，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及全局事件检测部件，用于根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

在所述事件检测方法、装置和***以及摄像机中，采用从局部到全局的两层分类策略，并且各个区域所对应的场景物理空间的尺寸相同或基本相同，使得视频事件的检测基本与监控场景和事件在场景中发生的位置无关，这样可以保证相同事件的图像特征具有较高的相似度，从而能够准确对事件进行检测和分类。本发明的方案兼具应用场景的通用性和事件判断的准确性。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1示出根据本发明的实施例的事件检测方法的示意性流程图；

图2示出区域的拍摄俯仰角的示意图；

图3示出根据本发明的实施例的事件检测装置的示意性框图；

图4示出根据本发明的实施例的事件检测***的示意性框图；

图5示出根据本发明的实施例的摄像机的示意性框图；以及

图6示出可以实现本发明的实施例/示例的计算机的结构的示例性框图。

具体实施方式

应对现有技术的上述问题的一种较为直观的想法就是场景无关化，也就是说通过方案的优化，使得事件检测的特征经过处理后与视频监控的场景、摄像机架设位置、事件在场景中的发生位置等因素无关。若能这样，就可以采用在一些已有的场景中进行事件检测的训练，而在新的场景中应用训练所得的模型的方案；而在已知的场景中自然可以采集大量样本来满足训练所需。

目前的一种方案采用的是解析的构思。此种方案首先试图检测出场景中的所有目标，然后试图分析每个目标的行为以及不同目标之间的行为关联。这种构思的本质是将视觉信息逻辑符号化，然后通过对这些场景无关的逻辑符号的分类进行事件检测。然而，以监控视频中人的行为分析为例，在当前的技术条件下，任意环境、视角条件下的人的检测、姿态和动作分析很难达到实用需求，在存在遮挡的情况下则更是难上加难。

针对现有技术的上述问题和以上分析，本发明提出一种事件检测方法、装置和***，以及摄像机。在本发明的方案中，采用局部和全局两层分类的策略，并且各个区域所对应的场景物理空间的尺寸相同或基本相同，使得视频事件的检测基本与监控场景和事件在场景中发生的位置无关，使事先获得大量样本进行分类器训练成为可能。此外，针对每个区域选择与该区域的拍摄俯仰角对应的分类器来进行事件分类，使得视频事件的检测基本与摄像机的架设位置无关。本发明的方案兼具应用场景的通用性和事件判断的准确性。

下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1示出根据本发明的实施例的事件检测方法的示意性流程图。如图1所示，在步骤S110中，从监控场景的视频中获取图像序列。对该图像序列进行事件检测，作为对该视频的一个事件检测结果。这里，图像序列由所述视频中在时间轴上相邻的一组图像组成。可以按时间段从视频中划分出具有预定时间长度的图像序列，也可以按所含图像数目从视频中划分出具有预定数目的相邻图像的图像序列。图像序列所跨的时间长度或所包括的图像数目可以根据实际需要确定，而没有限制。另外，可以理解，根据检测精度和检测速度的要求，图像序列中的各个图像可以是视频中连续的一组图像，也可以是视频中时间上相邻但不连续的一组图像。优选地，时间上相邻但不连续的一组图像中相邻图像之间的时间间隔相等。

在步骤S120中，在图像序列中提取与监控场景对应的视频场景中的多个区域中的每个区域的运动特征。监控场景在视频画面中的呈现在以下被称为视频场景。视频场景中的多个区域是视频画面中的多个区域。根据检测精度和检测速度的要求，针对每个区域，可以在图像序列中的每个图像中提取该区域的运动特征，即，每个区域的运动特征是使用两个图像提取的；也可以在图像序列中以相邻的多个图像为单位提取该区域的运动特征，即，每个区域的运动特征是使用多个图像提取的；或者，也可以以整个图像序列为单位提取该区域的运动特征，即，每个区域的运动特征是使用整个图像序列中的全部图像提取的。

为了避免监控场景不同和事件在监控场景中发生的位置不同造成的影响，在本发明的事件检测方法中，所述多个区域所对应的监控场景中的物理空间的尺寸相同。当然，多个区域所对应的监控场景中的物理空间的尺寸也可以是相近的或基本相同的。可以使用适当的参数作为视频画面中的区域所对应的物理空间的尺寸。例如，可以用区域所对应的监控场景中的地面所在的水平面的面积作为该区域所对应的物理空间的尺寸，也可以用区域中刚好完全可见的直立物体的实际高度作为该区域所对应的物理空间的尺寸，也可以用区域中刚好完全可见的球状物体的实际直径作为该区域所对应的物理空间的尺寸，或者，也可以同时用上述三个参数中的两个或全部作为该区域所对应的物理空间的尺寸。

在一个确定的监控场景中，区域在视频场景中的分布在事件检测***初始化时确定，此后不随视频中运动目标的多少、尺寸、运动模式的改变而发生变化。

这里，运动特征可以是任何对运动有描述力的特征。此外，可以采用现有的任何适当的方法来提取每个区域的运动特征。作为示例而不是限制，以下给出以运动矢量直方图和光流统计量特征为例的特征提取示例。

在一个示例中，提取每个区域内的部分或全部运动矢量的直方图作为该区域的运动特征。具体而言，采用以下步骤来提取每个区域的运动矢量直方图：

1)计算图像序列中一个或几个图像中的该区域内的部分或全部像素块的运动矢量(motion vector)；

2)如果运动矢量为直角坐标系下的值，则将该区域内部分或全部像素块的运动矢量转换到极坐标系中；

3)在极坐标系中将像素块的运动矢量按角度映射到多个角度范围之一上，每个角度范围对应于一个方向；以及

4)合计映射到每个方向上的运动矢量的幅度，形成该区域的运动矢量直方图。

在另一个示例中，提取每个区域内的部分或全部光流的统计量特征作为该区域的运动特征。具体而言，采用以下步骤来提取每个区域的光流统计量特征：

a)计算图像序列中一个或几个图像中的该区域内的部分或全部像素的光流(optical flow)；

b)根据一个或几个图像中的该区域内的光流，计算部分或全部像素的能量特征(能量特征的定义可参考文献N.Ding，Y.Chen，et al，Energy-based surveillance systems for ATM machines，Proceedings of the8th World Congress on Intelligent Control and Automation，2010)；

c)根据能量特征的范围划分出若干个能量级；以及

d)对该区域内的部分或全部像素，分别统计各个能量级的像素数，形成该区域的光流的统计量特征。

为了使提取的运动特征对区域中的运动的描述更加准确，根据本发明的另一实施例，提取每个区域中的多个子区域的运动特征，并组合所述多个子区域的运动特征作为该区域的运动特征。例如，可以通过串连、加权和等形式将多个子区域的运动特征组合成所述多个子区域对应的区域的运动特征。与区域类似，子区域也是预先划分好的。

从图像序列中为每个区域提取的运动特征可能是多维的。根据本发明的一个实施例，在以下描述的利用区域特征进行区域事件检测之前，将每个区域的运动特征分别映射为维度更低的运动特征，以降低区域事件检测的难度。在随后的区域事件检测步骤中，根据降维后的运动特征对每个区域进行区域事件检测。作为示例而不是限制，可以使用聚类分析法或主成分分析法来将每个区域的运动特征分别映射为维度更低的运动特征。

继续参考图1，在提取了区域的运动特征之后，在步骤S130中，至少根据每个区域的运动特征对区域进行区域事件检测。也就是说，可以利用在所述图像序列中的一个图像中的区域或多个图像中的同一区域提取的运动特征，对该区域在所述图像序列所跨的时间段中可能发生的事件进行检测。区域分类的结果例如是区域中是否发生了某个或某些事件，或者是区域中发生某个或某些事件的概率等。可以使用适当的现有事件检测方法对区域进行事件检测。

应当理解，不仅可以根据每个区域的运动特征对区域进行区域事件检测，还可以根据每个区域的运动特征与每个区域的其他特征一起，对区域进行区域事件检测。例如，利用人的检测、脸及头部检测等技术提取的区域中的人数、人的姿势、以及在图像中的位置、尺寸等特征，是对事件检测有意义的信息，可以和运动特征一同输入局部分类器，用于提高分类正确率。

在本发明的一个实施例中，进一步考虑到要避免用于获取监控视频的摄像机的架设位置的影响，通过以下步骤来进行区域事件检测：

i)从多组局部分类器中选择与区域的拍摄俯仰角对应的一组局部分类器；以及

ii)将区域的运动特征输入所选择的局部分类器，以对该区域进行事件分类。

区域的拍摄俯仰角指的是视频场景中的区域所对应的监控场景中的地面所在的水平面的中心和摄像机光心的连线与该水平面之间的夹角。为了方便理解，图2示出区域的拍摄俯仰角的示意图。在图2中，监控场景中的4个地面区域R1、R2、R3和R4分别对应于视频场景中的相应区域。它们的中心点分别为P1、P2、P3和P4。C是摄像机。角A1示出摄像机对地面区域R1的拍摄角度，即与地面区域R1对应的视频场景中的区域的拍摄俯仰角。角A2示出摄像机对地面区域R2的拍摄角度，即与地面区域R2对应的视频场景中的区域的拍摄俯仰角(R3和R4的拍摄角度未示出)。

类似地，在该实施例中，当根据每个区域的运动特征与该区域的其他特征一起对区域进行区域事件检测时，将区域的运动特征与其他特征一起输入所选择的局部分类器，以对该区域进行事件分类。

所述多组局部分类器可以是利用大量样本图像序列预先训练好的分类器。在此不详细描述分类器的训练过程，以免不必要地模糊本发明。

在所述多组局部分类器中，每组局部分类器用于对拍摄俯仰角处于一个连续的俯仰角区间内的区域进行事件分类。每组局部分类器包括至少一个局部分类器。每组局部分类器中的每个局部分类器针对至少一种事件类型，例如打斗、跌倒、或跑动等。

针对每个区域选择与该区域的拍摄俯仰角对应的分类器来进行事件分类，增强了不同事件之间的可分性，使得视频事件的检测基本与摄像机的架设位置无关，进一步提高了事件检测的准确率。

继续参考图1，在步骤S140中，根据多个区域的区域事件检测结果，对监控场景进行全局事件检测。全局事件检测的结果，就是对视频场景中在所述图像序列所跨的时间段内可能发生的事件的检测结果。

在全局事件检测时，可以将所有区域的区域事件检测结果都输入到全局分类器中，对视频场景进行一次事件分类。考虑到事件在相邻区域中的空间关联性，也可以将多个区域中的部分相邻区域的区域事件检测结果输入到全局分类器中，以进行事件分类。也就是说，可以将区域事件检测结果按区域相邻关系组合后输入到全局分类器中。具体而言，可以将多个区域中的部分相邻区域组成区域组，并将一个或多个区域组的区域事件检测结果分别输入到全局分类器中，以进行事件分类。如果多个区域组的区域事件检测结果分别输入到全局分类器中，则根据多个区域组的区域事件检测结果对视频场景进行的多次事件分类所得到的多个事件分类结果均作为全局事件检测结果。

这种先进行局部事件检测再进行全局事件检测的两层分类策略，利用了场景中在较短时间段内相距较远的区域之间的事件关联较小的特点，将各个区域分别处理后再进行综合对事件检测并无负面影响，进一步地，视频场景中各个区域所对应的物理空间的尺寸相同，从而使得视频事件的检测可以基本与监控场景和事件在场景中发生的位置无关。

根据本发明的另一实施例，所述事件检测方法还可以包括时域后处理步骤，以在全局事件检测之后利用事件的时域关联性对全局事件检测结果进行优化。具体而言，可以根据视频中在时间轴上与特定图像序列相邻的一个或更多个其他图像序列的全局事件检测结果来校正所述特定图像序列的全局事件检测结果。例如，当特定图像序列的全局事件检测结果与在时间轴上与其相邻的前后两个或多个图像序列的全局事件检测结果都不一致时，取相邻图像序列的全局事件检测结果作为该特定图像序列的全局事件检测结果，由此去除一些分类错误。再例如，可以将视频在时域上分割为均匀的段，在每个视频段内利用该段所包含的图像序列的全局事件检测结果进行投票，来确定该视频段的事件检测结果，从而消除个别图像序列的分类错误的影响。此外，还可以统计全局事件检测结果在时域上的状态转移概率，利用隐含马尔可夫模型(Hidden Markov Model)技术挖掘时域上前后图像序列/视频段的全局事件检测结果的关联，来在时域上过滤图像序列/视频段的全局事件检测结果，达到提高检测精度的效果。

如上文所述，视频场景中的多个区域可以是预先划分好的。在本发明的一个实施例中，在获取图像序列之前，将视频场景划分为多个区域，并确定每个区域的拍摄俯仰角。这充分利用了监控场景已知的特点。

应当理解，在根据本发明实施例的事件检测方法中，在训练用于区域事件检测的部件(例如区域分类器)所使用的样本中，与视频场景中的区域对应的监控场景中的物理空间的尺寸(为方便起见，以下称为样本物理空间尺寸)是已知的。在实施上述事件检测方法时，视频场景中的区域所对应的监控场景(应用场景)中的物理空间的尺寸与样本物理空间尺寸相同。根据上述情况，可以使用现有的任何适当的方法来确定所对应的物理空间尺寸已知的视频场景中的区域的尺寸和拍摄俯仰角。

作为示例而不是限制，可以使用监控场景中直径已知的球体和长度已知的杆或线的组合来确定视频场景中的区域的尺寸及拍摄俯仰角，从而根据区域的尺寸在视频场景中划分出区域。作为另一种示例而不是限制，当物理场景具有平坦的地面且地面上没有障碍物时，可以通过在地面上铺设格子图案的方式来确定视频场景中的区域。

为了能够充分观察到运动目标(例如人、车辆、动物等)在视频场景中的运动从而更准确地检测到事件，每个区域的尺寸使得运动目标处于所述区域所对应的物理空间中时能够在区域中完整可见。

可以理解，越接近摄像机的物理空间所对应的视频场景中的区域就越大，反之亦然。也就是说，尽管视频场景中的区域所对应的物理空间的尺寸相同或基本上相同，但是视频中区域的尺寸不尽相同。因此，在根据本发明的一个实施例中，在进行区域事件检测之前，根据多个区域的尺寸，对每个区域的运动特征的幅度分别进行归一化，以更准确地反映区域的运动信息。

此外，一个事件可能发生在区域与区域相接之处，因此，所划分的区域之间可以有重叠，以便能够更准确地检测到在区域边缘发生的事件。换言之，所划分的区域中的两个或更多个区域可以彼此交叠。

另外，由于摄像机的拍摄角度不同，所划分出的多个区域可能部分地或全部地覆盖视频场景。对于视频场景中不需要监视的区域，可以人工指定其不必被划分出的区域所覆盖，以节约不必要的处理。

此外，在划分区域时，也可以将区域进一步划分为多个子区域，以使后续的特征提取步骤所提取的运动特征对区域中的运动的描述更加准确。

图3示出根据本发明的实施例的事件检测装置的示意性框图。如图3所示，事件检测装置300包括图像序列获取部件310，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；特征提取部件320，用于在图像序列中提取与监控场景对应的视频场景中的多个区域中的每个区域的运动特征；区域事件检测部件330，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及全局事件检测部件340，用于根据所述多个区域的区域事件检测结果，对视频场景进行全局事件检测，其中，所述多个区域所对应的监控场景中的物理空间的尺寸相同。

优选地，区域事件检测部件330可以包括：分类器选择部件(未示出)，用于为每个区域从多组局部分类器中选择与所述区域的拍摄俯仰角对应的一组局部分类器；以及所述局部分类器，用于接收相应区域的至少运动特征，以对该区域进行事件分类。

优选地，全局事件检测部件340被配置为接收所述多个区域中的全部区域的区域事件检测结果，或接收所述多个区域中的部分相邻区域组成的一个或多个区域组的区域事件检测结果，以对视频场景进行事件分类。

优选地，全局事件检测部件340可以由以上在事件检测方法的实施例中描述的全局分类器实现。

优选地，事件检测装置300还包括优化部件(未示出)，用于根据视频中在时间轴上与特定图像序列相邻的一个或多个其他图像序列的全局事件检测结果来校正所述特定图像序列的全局事件检测结果。

优选地，事件检测装置300还包括区域划分部件(未示出)，用于在图像序列获取部件310获取图像序列之前，将视频场景划分为所述多个区域，并确定每个区域的拍摄俯仰角。

优选地，特征提取部件320还用于使用聚类分析法或主成分分析法将每个区域的运动特征分别映射为维度更低的运动特征。

优选地，特征提取部件320还用于根据所述多个区域的尺寸，对从图像序列中提取的每个区域的运动特征的幅度分别进行归一化。

优选地，特征提取部件320还用于提取每个区域中的多个子区域的运动特征；以及组合所述多个子区域的运动特征作为所述区域的运动特征。

事件检测装置300及其各组成部件例如可以被配置成执行以上根据本发明实施例的事件检测方法，并且可以获得相应的技术益处。具体细节可以参见上面的相关描述，在此不再逐一赘述。

图4示出根据本发明的实施例的事件检测***的示意性框图。如图4所示，事件检测***包括摄像机410和事件检测装置420。摄像机410用于获取监控场景的视频。事件检测装置420用于在视频中进行事件检测。事件检测装置420包括：图像序列获取部件421，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；特征提取部件422，用于在图像序列中提取与监控场景对应的视频场景中的多个区域中的每个区域的运动特征；区域事件检测部件423，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及全局事件检测部件424，用于根据所述多个区域的区域事件检测结果，对视频场景进行全局事件检测。其中，所述多个区域所对应的监控场景中的物理空间的尺寸相同。

这里，摄像机410可以是现有的各种摄像装置。事件检测装置420可以是根据本发明的上述实施例的事件检测装置300。

根据本发明的一个实施例，事件检测装置420可以与摄像机410分离地设置。例如，事件检测装置420设置在监控中心内，摄像机410采集到的视频通过有线或无线的方式提供给事件检测装置420。

根据本发明的另一个实施例，事件检测装置420也可以与摄像机410一体地设置。例如，事件检测装置420可以以各种形式如IC芯片、DSP、软件等嵌入或附着到摄像机410。

尽管图4中仅示出事件检测***400中的一个摄像机410，但是本领域技术人员可以理解，事件检测***400中可以包括更多个摄像机410。例如，为了对监控场景进行更全面的事件检测，可以在***中包括多个摄像机410，每个摄像机410采集监控场景的一部分的视频信息，或者以不同角度采集监控场景的视频信息。

图5示出根据本发明的实施例的摄像机的示意性框图。如图5所示，摄像机500包括图像采集部件510和事件检测部件520。图像采集部件510用于获取监控场景的视频图像。事件检测部件520用于在视频中进行事件检测。事件检测部件520包括：图像序列获取部件521，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；特征提取部件522，用于在图像序列中提取与监控场景对应的视频场景中的多个区域中的每个区域的运动特征；区域事件检测部件523，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及全局事件检测部件524，用于根据所述多个区域的区域事件检测结果，对视频场景进行全局事件检测。其中，所述多个区域所对应的监控场景中的物理空间的尺寸相同。

这里，事件检测部件520可以是根据本发明实施例的事件检测装置300。图像采集部件510可以是现有的各种图像采集部件。摄像机500中的其他部件可以是现有技术中的摄像机的常用部件，这里为了简明起见，未在图5中示出。

在根据本发明实施例的事件检测方法、装置和***及摄像机中，采用从局部到全局的两层分类策略，并且各个区域所对应的场景物理空间的尺寸相同或基本相同，使得视频事件的检测基本与监控场景和事件在场景中发生的位置无关，使事先获得大量样本进行分类器训练成为可能。此外，针对每个区域选择与该区域的拍摄俯仰角对应的分类器来进行事件分类，增强了不同事件之间的可分性，使得视频事件的检测基本与摄像机的架设位置无关。采用本发明的方案来解决视频监控中的运动型事件检测问题，仅需要在***初始化时对监控场景进行参数标注，然后就可以利用已有的训练好的分类器进行异常事件如打斗、跌倒、跑动等的准确检测。本发明的方案兼具应用场景的通用性和事件判断的准确性。

应当理解，根据本发明实施例的上述各个装置中各个组成部件、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

图6示出可以实现本发明的实施例/示例的计算机的结构的示例性框图。在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，还根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件连接到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡比如LAN卡、调制解调器等)。通信部分609经由网络比如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的事件检测方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本发明的实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式做出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

Claims (20)

1.一种事件检测方法，包括：

从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；

在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；

至少根据每个区域的运动特征对所述区域进行区域事件检测；以及

根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，

其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

2.根据权利要求1的事件检测方法，其中，所述区域事件检测包括：

从多组局部分类器中选择与所述区域的拍摄俯仰角对应的一组局部分类器；以及

将所述区域的至少运动特征输入所选择的局部分类器，以对所述区域进行事件分类。

3.根据权利要求2的事件检测方法，其中，所述多组局部分类器中的每组局部分类器用于对拍摄俯仰角处于一个连续的俯仰角区间内的区域进行事件分类，并且每组局部分类器包括至少一个局部分类器，每组局部分类器中的每个局部分类器针对至少一种事件类型。

4.根据权利要求1-3中任一项所述的事件检测方法，其中，所述全局事件检测包括：

将所述多个区域中的全部区域的区域事件检测结果输入全局分类器，或将所述多个区域中的部分相邻区域组成区域组，并将一个或多个区域组的区域事件检测结果分别输入全局分类器，以对所述视频场景进行事件分类。

5.根据权利要求1的事件检测方法，还包括：

根据所述视频中在时间轴上与所述图像序列相邻的一个或多个其他图像序列的全局事件检测结果来校正所述图像序列的全局事件检测结果。

6.根据权利要求1-3中任一项所述的事件检测方法，其中，在获取图像序列之前，所述方法还包括：

将所述视频场景划分为所述多个区域，并确定每个区域的拍摄俯仰角。

7.根据权利要求6的事件检测方法，其中，使用所述监控场景中直径已知的球体和长度已知的杆或线的组合来确定每个区域的尺寸及拍摄俯仰角。

8.根据权利要求1的事件检测方法，其中，每个区域的尺寸使得事件检测的运动目标处于所述区域所对应的物理空间中时能够在所述区域中完整可见。

9.根据权利要求1的事件检测方法，其中，所述多个区域中的两个或更多个区域彼此交叠。

10.根据权利要求1-3中任一项所述的事件检测方法，其中，在进行区域事件检测之前，所述方法还包括：

根据所述多个区域的尺寸，对每个区域的运动特征的幅度分别进行归一化。

11.根据权利要求1-3中任一项所述的事件检测方法，提取每个区域的运动特征包括：

提取每个区域中的多个子区域的运动特征；以及

组合所述多个子区域的运动特征作为所述区域的运动特征。

12.根据权利要求1-3中任一项所述的事件检测方法，其中，每个区域的运动特征包括所述区域内的部分或全部运动矢量的直方图和/或所述区域内的部分或全部光流的统计量特征。

13.一种事件检测装置，包括：

图像序列获取部件，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；

特征提取部件，用于在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；

区域事件检测部件，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及

全局事件检测部件，用于根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，

其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

14.根据权利要求13的事件检测装置，其中，所述区域事件检测部件包括：

分类器选择部件，用于为每个区域从多组局部分类器中选择与所述区域的拍摄俯仰角对应的一组局部分类器；以及

所述局部分类器，用于接收相应区域的至少运动特征，以对该区域进行事件分类。

15.根据权利要求13或14的事件检测装置，还包括：

区域划分部件，用于将与所述监控场景对应的视频场景划分为多个区域，并确定每个区域的拍摄俯仰角。

16.根据权利要求15的事件检测装置，其中，所述区域划分部件被配置为使用所述监控场景中直径已知的球体和长度已知的杆或线的组合来确定每个区域的尺寸及拍摄俯仰角。

17.根据权利要求14的事件检测装置，其中，所述多组局部分类器中的每组局部分类器用于对拍摄俯仰角处于一个连续的俯仰角区间内的区域进行事件分类，并且每组局部分类器包括至少一个局部分类器，每组局部分类器中的每个局部分类器针对至少一种事件类型。

18.根据权利要求13或14的事件检测装置，其中，所述全局事件检测部件被配置为接收所述多个区域中的全部区域的区域事件检测结果，或接收所述多个区域中的部分相邻区域组成的一个或多个区域组的区域事件检测结果，以对所述视频场景进行事件分类。

19.一种事件检测***，包括：

摄像机，用于获取监控场景的视频；以及

事件检测装置，用于在所述视频中进行事件检测，

其中，所述事件检测装置包括：

图像序列获取部件，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；

特征提取部件，用于在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；

区域事件检测部件，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及

全局事件检测部件，用于根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，

其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

20.一种摄像机，包括：

图像采集部件，用于获取监控场景的视频；以及

事件检测部件，用于在所述视频中进行事件检测，

其中，所述事件检测部件包括：

图像序列获取部件，用于从监控场景的视频中获取由在时间轴上相邻的一组图像组成的图像序列；

特征提取部件，用于在所述图像序列中提取与所述监控场景对应的视频场景中的多个区域中的每个区域的运动特征；

区域事件检测部件，用于至少根据每个区域的运动特征对所述区域进行区域事件检测；以及

全局事件检测部件，用于根据所述多个区域的区域事件检测结果，对所述视频场景进行全局事件检测，

其中，所述多个区域所对应的所述监控场景中的物理空间的尺寸相同。

Images