CN102663452B - 基于视频分析的可疑行为检测方法 - Google Patents

Abstract

本发明涉及一种基于视频分析的可疑行为检测方法。该方法包括三个步骤：人体目标检测、轨迹建模、特征提取与分类。该方法采用计算机辅助手段和视频分析技术，智能化检测监视视频中存在的可疑行为，及时发现和预警，可以有效降低可疑行为对监视场所的威胁，同时安装容易、使用方便，经济和社会效益显著。

Description

基于视频分析的可疑行为检测方法

技术领域

本发明涉及基于视频分析的可疑行为检测方法。

背景技术

目前，在银行、商店、停车场等处广泛应用的摄像机，通常只能在异常情况发生后，通过视频回放方式查找和追究可疑人员，无法实时报警。若能智能检测监视视频中人体的可疑行为，则可以在事件发生时及时报警，避免生命和财产的损失。

现有的可疑行为检测方法很多，张瑞玉等在《基于行走轨迹的智能监控算法》中提出了一种基于行走轨迹的异常行为识别方法,运用背景减除法与时间差分法加权平均的目标检测法对运动人体进行检测,通过对人的行走轨迹的跟踪与记录来判断某人是否可疑，但该方法主要检测徘徊行为，功能单一；张锦等在《监控视频中异常事件检测方法研究》中采用轨迹提取方法对徘徊事件进行检测与分析，但该方法也只能检测徘徊行为，功能单一；周维柏等在《基于轨迹特征分析的行人异常行为识别》中提出一个以行人为目标的视频监控***，利用行人的移动轨迹特征来判断是否发生异常行为，但该轨迹模型元素简单，对复杂行为的虚警率和漏警率高；胡卫明等在《轨迹分布模式学习的层次自组织神经网络方法》中利用神经网络建立运动目标的轨迹模型，通过一系列轨迹点对轨迹模型进行学习，根据当前轨迹点和模型参数对运动目标在下一时刻的方向和位置进行预测，以便检测出交通车辆运动方向的可疑之处，以及在停车场中是否有可疑人员等，但该方法仅利用了轨迹中目标的方向和位置特征，难以检测较为复杂的可疑行为；胡芝兰等在《基于运动方向的异常行为检测》中提出一种基于运动方向的异常行为检测方法，采用块运动方向描述不同的动作，并利用支持向量机对实时监控视频进行异常行为分类，计算复杂度小，能够实现实时监控，但对于复杂背景或者目标遮挡的情况检测效果较差；印勇等在《基于改进Hu矩的异常行为识别》中提出一种基于改进Hu矩的异常行为识别算法，主要对蹦跳、加速跑、摔倒、下蹲、挥手和手拿异物六种可疑行为进行识别，但该方法需要提取较为精细的人体轮廓，这在复杂环境中是难以实现的。总的来说，现有技术有的功能单一，只能检测特定可疑行为；有的模型简单，无法适应复杂环境；有的实时性或准确性不高，在实际应用过程中经常出现虚警和漏警现象。

发明内容

针对现有技术的不足，本发明特提出一种基于视频分析的可疑行为检测方法，采用计算机辅助手段和视频分析技术，智能化检测监视视频中存在的可疑行为，及时发现和预警。

本发明提出的可疑行为检测方法主要包括三个步骤：人体目标检测、轨迹建模、轨迹特征提取与分类，流程如图1所示，详述如下：

一、人体目标检测

在监视场景中，我们感兴趣的目标是运动的人体目标，本发明提出基于隔帧帧差和轮廓配对的人体目标检测方法，具体步骤如下：

Step1：对于一般的实时视频采集***（帧率25fps），目标在相邻两帧之间的运动位移很小，相邻帧差法难以检测运动目标，为此，本发明提出隔帧帧差法检测运动目标，具体是选取间隔t帧的三帧图像I ₀ 、I _t 、I _2t ，分别计算帧差图像E ₁、E ₂。

t为正整数，单位为帧，本发明中，取t=3帧。

Step2：确定自适应阈值T。计算帧差图像均值，将其乘以一个加权系数，以之作为自适应阈值。

其中，M×N为视频图像尺寸，β为加权系数，这里取β=10。

Step3：阈值分割，得到二值图像MR。

MR中值为1的像素点记为运动的目标点。

Step4：目标块标记。一般情况下，一帧二值图像MR中的目标有断裂和“孔洞”现象，同时还存在许多噪声，为此，首先采用中值滤波方法平滑目标块，去除噪声，滤波器窗口为3×3像素点；然后采用数学形态学中的开运算操作填补目标块的“孔洞”，合并相邻的目标块；最后采用8-邻接连通方法搜索和标记目标。

Step5：人体目标判别。在实现可疑行为的智能检测过程中，我们感兴趣的目标始终是人体目标，而尽可能多地剔除动物、车辆等干扰目标，降低***的虚警率，因此，本发明采用轮廓配对方法剔除干扰目标。

首先，检测目标的轮廓。在同一帧二值图像中，轮廓点(x, y)满足两个条件：

条件1：

条件2：，

或者

，

或者

，

或者

。

接着，采用归一化傅立叶描述子表示目标的轮廓。

对坐标为(x, y)的第n个轮廓点，记X[n]=x，Y[n]=y，计算傅立叶描绘子：

其中，K为轮廓点总数。由于傅立叶描述子与形状尺度、方向和曲线起始点有关，故需进行归一化，归一化方法是：

归一化后的傅立叶描述子具有平移、旋转、尺度的不变性，可以用来进行轮廓配对。

最后，采用欧式距离进行轮廓配对，判决目标属性。

假设待识别目标的傅立叶描述子为d ₁(u)，人体目标的傅立叶描述子为d ₂(u)，则二者的形状差异为：

设定固定阈值D，本发明中取D=0.02。如果d<D,则认为该目标为人体目标，否则认为该目标为干扰目标，将其剔除。

二、轨迹建模

人体的轨迹信息是判断人体可疑行为的重要依据之一，如何建立稳定可靠的人体轨迹模型是智能判别人体可疑行为的基础。为此，本发明提出基于时间窗四元组的轨迹建模方法。其中，轨迹的四元组记为：

其中，i表示目标序号，f表示视频帧号，P(x,y)表示目标质心坐标，d(u)表示目标轮廓描述子。

对于每一帧视频图像上的各个人体目标，依次记录视频帧号、目标质心坐标、目标轮廓描述子信息。其中，轮廓描述子信息在上一步已经求得，目标质心坐标可以采用下面公式计算：

其中，W×H为目标块MR的尺寸。

目标序号的标记方法是：对于第一帧视频图像，依次标记各个人体目标的序号，而对于后续视频图像中出现的各个人体目标，首先和前一帧的各个人体目标进行特征匹配，如果匹配成功，则该目标序号标记为前一帧相匹配的目标序号；否则，为该目标标记新的序号。

其中，人体目标特征匹配采用基于空域约束和时频域特征联合匹配的人体目标特征匹配方法，具体步骤如下：

Step1：空域约束

一般地，即使人体快速奔跑的速度也不可能达到视频实时采样的速度，在这种情况下，相邻两帧视频图像中同一人体目标的轮廓是有重叠的，因此，我们依据空域约束区分明显不是同一个人体的目标。假设重叠点为(x, y)，则在前后两帧二值图像中，(x, y)必须满足两个条件：

条件1：

条件2：

其中，MR ₁表示当前帧目标块，MR ₀表示前一帧目标块。

如果前后两帧人体目标有重叠点，则认为两个人体目标有可能是同一个目标，继续下一步匹配；否则，认为两个人体目标不匹配，终止目标匹配过程。

Step2：频域特征匹配

采用已经求出的傅立叶描述子特征进行频域特征匹配。假设当前帧目标的傅立叶描述子为d ₁(u)，前一帧目标的傅立叶描述子为d ₂(u)，则依据上述描述，目标之间的频域特征差异为：

设定固定阈值D ₂，D ₂<D，本发明中取D ₂=0.013。如果d<D ₂,则认为前后两帧人体目标有可能是同一个目标，继续下一步匹配；否则，认为两个人体目标不匹配，终止目标匹配过程。

Step3：时域特征匹配

采用梯度向量特征进行时域特征匹配。目标的梯度向量特征求取方法如下：

按照梯度算子计算各像素点梯度：

梯度模值为：

梯度方向为：

把[-π/2, π/2]的梯度方向均匀划分为9个区间（记为area _k ,1≤k≤9），各个像素点在分量区间上的9维梯度向量特征为：

目标块的平均梯度向量特征为：

假设当前帧目标的梯度向量特征为V ₁，前一帧目标的梯度向量特征为V ₂，则目标之间的时域特征差异为：

设定固定阈值D ₃，本发明中取D ₃=0.14。如果v<D ₃,则认为前后两帧人体目标是同一个目标；否则，认为两个人体目标不匹配。

由于人体目标的轨迹与时间有关，于是得到每一帧视频图像中各个目标的四元组后，采用时间窗法得到时间窗四元组，记为W _TR ：

其中，t ₀表示起始视频帧号，t _d 表示间隔帧数。

三、轨迹特征提取与分类

获取各个人体目标的时间窗四元组后，即可提取轨迹特征。本发明提出基于时空离散曲线的标矢量轨迹特征提取方法，描述如下：

Step1：时空离散曲线标量特征提取

将时间窗四元组中的质心坐标相连接，得到一条时空离散曲线（如图2所示），此曲线反映了人体目标在时间窗内的运动轨迹，是辨别可疑行为的重要依据。本发明提取的时空离散曲线标量特征包括：广义曲率、时空长度和时空拐点数目，详述如下：

（1）广义曲率

首先计算时空离散曲线上各离散点与相邻两点的夹角，作为该离散点的角度特征，以P ₂点为例，其角度特征为：

其中，

然后，取所有离散点角度特征的平均值，作为广义曲率。这里以图2的时空离散曲线为例，取中间9个点的角度均值，得到的广义曲率为：

（2）时空长度

时空长度特征可以由时空离散曲线上的离散点数目代替，即时空长度等于时空离散曲线上的离散点数目。对于图2所示的时空离散曲线，其时空长度特征为11。

（3）时空拐点数目

在时空离散曲线上，当离散点的角度特征小于π/2时，认为该点为时空拐点。在时空离散曲线上，时空拐点的个数为时空拐点数目。在图2所示的时空离散曲线上，P ₅、P ₈为时空拐点，时空拐点数目为2。

Step2：时空离散曲线矢量特征提取

对于时空离散曲线上的每一个离散点，提取空域和时域两个矢量特征。

（1）空域矢量

空域矢量用来描述人体目标在行进过程中的身体倾向，主要用来区分人体是直立姿态还是前倾或后倾等倾倒姿态，甚至完全倒地姿态，这有助于辨别人体奔跑、倾倒、匍匐、躬身等行为。空域矢量的获取方法是：首先由四元组的轮廓描述子恢复人体轮廓形状；然后采用椭圆曲线拟合方法获取人体椭圆形状；最后提取椭圆的长轴矢量，作为空域矢量。

（2）时域矢量

时域矢量用来描述人体目标在行进过程中的运动情况。对于时空离散曲线上的任一点，其时域矢量的模值为该点与下一点的欧式距离，时域矢量的方向为该点指向下一点的方向和水平方向的夹角。仍以图2中P ₂点为例，其时域矢量的模值为：

方向为：

Step3：特征分类

由于行为特征随机性强，难以依据模板匹配或最小距离等方法进行分类。本发明采用SVM分类方法进行行为特征的分类。SVM是在统计学习理论基础上发展起来的一种学习方法，可以有效解决小样本问题、模型选择问题和非线性问题，且具有很强的泛化性能。核函数是SVM算法的关键，本发明选择径向基函数作为SVM的核函数：

本发明的可疑行为检测方法，过程为：

在训练阶段，首先选择尽可能多的正负样本，正样本为包含徘徊、奔跑、匍匐、倾倒或躬身等行为的视频，负样本为包含正常行走、聚集或聊天等行为的视频，然后采用本发明提取的方法建立轨迹模型，提取轨迹特征，最后采用SVM方法进行训练，得到分类器。

在识别阶段，首先对实时视频中的各个人体目标建立轨迹模型，提取轨迹特征，然后将轨迹特征输入由训练阶段得到的分类器进行分类，最终判别待检测视频中是否存在可疑行为。如果存在可疑行为，则启动声光报警装置报告警情。

本发明提出基于视频分析的可疑行为检测方法，采用计算机辅助手段和视频分析技术，智能化检测监视视频中存在的可疑行为，及时发现和预警，可以有效降低可疑行为对监视场所的威胁，同时安装容易、使用方便，经济和社会效益显著。

附图说明

图1是本发明的算法流程图；

图2时空离散曲线图。

具体实施方式

本发明的可疑行为检测方法主要包括三个步骤：人体目标检测、轨迹建模、轨迹特征提取与分类，具体流程如下：

一、人体目标检测

采用基于隔帧帧差和轮廓配对的人体目标检测方法，具体步骤如下：

Step1：采用隔帧帧差法检测运动目标，具体是选取间隔t帧的三帧图像I ₀ 、I _t 、I _2t ，分别计算帧差图像E ₁、E ₂。

其中，取t=3。

Step2：确定自适应阈值T。计算帧差图像均值，将其乘以一个加权系数，以之作为自适应阈值。

其中，M×N为视频图像尺寸，β为加权系数，这里取β=10。

Step3：阈值分割，得到二值图像MR。

MR中值为1的像素点记为运动的目标点。

Step4：目标块标记。首先采用中值滤波方法平滑目标块，去除噪声，滤波器窗口为3×3；然后采用数学形态学中的开运算操作填补目标块的“孔洞”，合并相邻的目标块；最后采用8-邻接连通方法搜索和标记目标。

Step5：人体目标判别。采用轮廓配对方法剔除干扰目标。首先，检测目标的轮廓。接着，采用归一化傅立叶描述子表示目标的轮廓。最后，采用欧式距离进行轮廓配对，判决目标属性。

二、轨迹建模

采用基于时间窗四元组的轨迹建模方法。其中，轨迹的四元组记为：

其中，i表示目标序号，f表示视频帧号，P(x, y)表示目标质心坐标，d(u)表示目标轮廓描述子。

采用基于空域约束和时频域特征联合匹配的人体目标特征匹配方法，具体步骤如下：

Step1：空域约束

依据空域约束区分明显不是同一个人体的目标。假设重叠点为(x, y)，则其必须满足两个条件：

条件1：

条件2：

其中，MR ₁表示当前帧目标块，MR ₀表示前一帧目标块。

如果前后两帧人体目标有重叠点，则认为两个人体目标有可能是同一个目标，继续下一步匹配；否则，认为两个人体目标不匹配，终止目标匹配过程。

Step2：频域特征匹配

采用已经求出的傅立叶描述子特征进行频域特征匹配。假设当前帧目标的傅立叶描述子为d ₁(u)，前一帧目标的傅立叶描述子为d ₂(u)，则依据上述描述，目标之间的频域特征差异为：

设定固定阈值D ₂，D ₂<D，本发明中取D ₂=0.013。如果d<D ₂,则认为前后两帧人体目标有可能是同一个目标，继续下一步匹配；否则，认为两个人体目标不匹配，终止目标匹配过程。

Step3：时域特征匹配

采用梯度向量特征进行时域特征匹配。目标的梯度向量特征求取方法如下：

按照梯度算子计算各像素点梯度：

梯度模值为：

梯度方向为：

把[-π/2, π/2]的梯度方向均匀划分为9个区间（记为area _k ,1≤k≤9），各个像素点在分量区间上的9维梯度向量特征为：

目标块的平均梯度向量特征为：

假设当前帧目标的梯度向量特征为V ₁，前一帧目标的梯度向量特征为V ₂，则目标之间的时域特征差异为：

设定固定阈值D ₃，本发明中取D ₃=0.14。如果v<D ₃,则认为前后两帧人体目标是同一个目标；否则，认为两个人体目标不匹配。本发明中，取D ₃=0.14。

得到每一帧视频图像中各个目标的四元组后，采用时间窗法得到时间窗四元组，记为W _TR ：

其中，t ₀表示起始视频帧号，t _d 表示时间窗宽度，也即间隔帧数。

三、轨迹特征提取与分类

获取各个人体目标的时间窗四元组后，即可提取轨迹特征。采用基于时空离散曲线的标矢量轨迹特征提取方法，步骤如下：

Step1：时空离散曲线标量特征提取

提取的时空离散曲线标量特征包括：广义曲率、时空长度和时空拐点数目，详述如下：

（1）广义曲率

首先计算时空离散曲线上各离散点与相邻两点的夹角，作为该离散点的角度特征，然后，取所有离散点角度特征的平均值，作为广义曲率。

（2）时空长度

时空长度特征由时空离散曲线上的离散点数目代替。

（3）时空拐点数目

在时空离散曲线上，当离散点的角度特征小于π/2时，认为该点为时空拐点。在时空离散曲线上，时空拐点的个数为时空拐点数目。

Step2：时空离散曲线矢量特征提取

对于时空离散曲线上的每一个离散点，提取空域和时域两个矢量特征。

（1）空域矢量

空域矢量的获取方法是：首先由四元组的轮廓描述子恢复人体轮廓形状；然后采用椭圆曲线拟合方法获取人体椭圆形状；最后提取椭圆的长轴矢量，作为空域矢量。

（2）时域矢量

时域矢量用来描述人体目标在行进过程中的运动情况。对于时空离散曲线上的任一点，其时域矢量的模值为该点与下一点的欧式距离，时域矢量的方向为该点指向下一点的方向和水平方向的夹角。

Step3：特征分类。采用SVM分类方法进行行为特征的分类。

本发明选择径向基函数作为SVM的核函数：

。

Claims (5)

1.一种基于视频分析的可疑行为检测方法，包括在摄像头采集到监视视频的基础上,首先进行人体目标检测，然后对视频不同帧中的人体目标进行轨迹建模，最后进行轨迹特征提取与分类，判断监视场景中是否存在可疑行为，具体流程如下：

（A）、人体目标检测

采用基于隔帧帧差和轮廓配对的人体目标检测方法，包括以下步骤Step1－Step5：

Step1：采用隔帧帧差法检测运动目标，具体是选取间隔t帧的三帧图像I ₀ 、I _t 、I _2t ，分别计算帧差图像E ₁、E ₂；

t为正整数，单位为帧；

Step2：确定自适应阈值T；计算帧差图像均值，将其乘以一个加权系数，以之作为自适应阈值；

其中，M×N为视频图像尺寸，β为加权系数；

Step3：阈值分割，得到二值图像MR；

MR中值为1的像素点记为运动的目标点；

Step4：目标块标记；首先采用中值滤波方法平滑目标块，去除噪声，滤波器窗口为3×3；然后采用数学形态学中的开运算操作填补目标块的“孔洞”，合并相邻的目标块；最后采用8-邻接连通方法搜索和标记目标；

Step5：人体目标判别；采用轮廓配对方法剔除干扰目标；首先，检测目标的轮廓；接着，采用归一化傅立叶描述子表示目标的轮廓；最后，采用欧式距离进行轮廓配对，判决目标属性；

（B）、轨迹建模

采用基于时间窗四元组的轨迹建模方法；其中，轨迹的四元组记为：

其中，i表示目标序号，f表示视频帧号，P(x, y)表示目标质心坐标，d(u)表示目标轮廓描述子，

，K为轮廓点总数；

对于第一帧视频图像，依次标记各个人体目标的序号，而对于后续视频图像中出现的各个人体目标，首先和前一帧的各个人体目标进行特征匹配，如果匹配成功，则该目标序号标记为前一帧相匹配的目标序号；否则，为该目标标记新的序号；

其中，前后两帧图像中人体目标的匹配采用基于空域约束和时频域特征联合匹配的特征匹配方法，首先进行空域约束，满足约束条件则继续下一步匹配，否则终止匹配过程，判定两目标不匹配；接着进行频域特征匹配，满足频域匹配条件则继续下一步匹配，否则终止匹配过程，判定两目标不匹配；最后进行时域特征匹配，满足时域条件则判定两目标匹配，否则判定两目标不匹配；

得到每一帧视频图像中各个目标的四元组后，采用时间窗法得到时间窗四元组，记为W _TR ：

其中，t ₀表示起始视频帧号，t _d 表示间隔帧数；

（C）、轨迹特征提取与分类

采用基于时空离散曲线的标矢量轨迹特征提取和SVM分类方法，包括以下步骤Step6－Step8：

Step6：时空离散曲线标量特征提取

提取的时空离散曲线标量特征包括：广义曲率、时空长度和时空拐点数目，详述如下：

（1）广义曲率

首先计算时空离散曲线上各离散点与相邻两点的夹角，作为该离散点的角度特征，然后，取所有离散点角度特征的平均值，作为广义曲率；

（2）时空长度

时空长度为时空离散曲线上的离散点数目；

（3）时空拐点数目

在时空离散曲线上，时空拐点的个数为时空拐点数目；

Step7：时空离散曲线矢量特征提取

对于时空离散曲线上的每一个离散点，提取空域和时域两个矢量特征；

（4）空域矢量

空域矢量的获取方法是：首先由四元组的轮廓描述子恢复人体轮廓形状，然后采用椭圆曲线拟合方法获取人体椭圆形状，最后提取椭圆的长轴矢量，作为空域矢量；

（5）时域矢量

对于时空离散曲线上的任一点，其时域矢量的模值为该点与下一点的欧式距离，时域矢量的方向为该点指向下一点的方向和水平方向的夹角；

Step8：特征分类

对于提取到的轨迹特征，送入由训练阶段得到的SVM分类器进行分类，判别监视场景中是否存在可疑行为。

2.根据权利要求1所述的基于视频分析的可疑行为检测方法，其特征在于，采用轮廓配对方法剔除干扰目标，步骤是：

首先，检测目标的轮廓，在同一帧二值图像MR中，轮廓点(x, y)满足条件：

条件1：，

条件2：

，

或者，

或者

，

或者

，

接着，采用归一化傅立叶描述子表示目标的轮廓；

对坐标为(x, y)的第n个轮廓点，记X[n]=x，Y[n]=y，计算傅立叶描绘子：

，

其中，K为轮廓点总数，傅立叶描述子归一化方法是：

，

最后，采用欧式距离进行轮廓配对，判决目标属性；

假设待识别目标的傅立叶描述子为d ₁(u)，人体目标的傅立叶描述子为d ₂(u)，则二者的形状差异为：

设定固定阈值D，如果d<D,则认为该目标为人体目标，否则认为该目标为干扰目标，将其剔除。

3.根据权利要求1所述的基于视频分析的可疑行为检测方法，其特征在于，基于空域约束和时频域特征联合匹配的人体目标特征匹配方法的具体步骤为：

Step3.1：空域约束

依据空域约束区分明显不是同一个人体的目标；假设重叠点为(x, y)，则在前后两帧二值图像中，(x, y)必须满足两个条件：

条件1：

，

条件2：

，

其中，MR ₁表示当前帧目标块，MR ₀表示前一帧目标块；

如果前后两帧人体目标有重叠点，则认为两个人体目标有可能是同一个目标，继续下一步匹配；否则，认为两个人体目标不匹配，终止目标匹配过程；

Step3.2：频域特征匹配

采用已经求出的傅立叶描述子特征进行频域特征匹配，假设当前帧目标的傅立叶描述子为d ₁(u)，前一帧目标的傅立叶描述子为d ₂(u)，则依据上述描述，目标之间的频域特征差异为：

设定固定阈值D ₂，如果d<D ₂,则认为前后两帧人体目标有可能是同一个目标，继续下一步匹配；否则，认为两个人体目标不匹配，终止目标匹配过程；

Step3.3：时域特征匹配

采用梯度向量特征进行时域特征匹配；目标的梯度向量特征求取方法如下：

按照梯度算子计算各像素点梯度：

梯度模值为：

梯度方向为：

把[-π/2, π/2]的梯度方向均匀划分为9个区间，记为area _k ,1≤k≤9，各个像素点在分量区间上的9维梯度向量特征为：

目标块的平均梯度向量特征为：

其中，W×H为目标块的尺寸，W为目标块的宽度，H为目标块的高度；

假设当前帧目标的梯度向量特征为V ₁，前一帧目标的梯度向量特征为V ₂，则目标之间的时域特征差异为：

设定固定阈值D ₃，如果v<D ₃,则认为前后两帧人体目标是同一个目标；否则，认为两个人体目标不匹配。

4.根据权利要求1所述的基于视频分析的可疑行为检测方法，其特征在于，SVM分类器的训练方法是：首先选择正负样本，正样本为包含徘徊、奔跑、匍匐、倾倒或躬身行为的视频，负样本为包含正常行走、聚集或聊天行为的视频，然后建立轨迹模型，提取轨迹特征，最后采用SVM方法进行训练，得到分类器。

5.根据权利要求1所述的基于视频分析的可疑行为检测方法，其特征在于，在时空离散曲线上，当离散点的角度特征小于π/2时，该点为时空拐点。

Images