CN107194317B - 一种基于网格聚类分析的暴力行为检测方法 - Google Patents

Abstract

本发明公开了一种基于网格聚类分析的暴力行为检测方法,步骤包括：S1、从摄像设备或已有的视频文件中读取视频流，获取视频流中的源图片帧；S2、将源图片帧进行预处理；S3、检测预处理后的源图片帧中的人体，并将检测到的人体框出；S4、获取源图片帧的光流特征点，并对对光流特征点进行光流追踪；S5、对光流特征点进行聚类分析，从而获得图像中的运动物体；S6、分析运动物体的运动情况；S7、统计运动物体在连续图像帧中的聚合度变化趋势，用来判断暴力事件的检测。本发明通过视频图像信息计算多个运动物体间的聚合度变化趋势，以及通过人体检测，从而判断是否发生暴力事件。

Description

一种基于网格聚类分析的暴力行为检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于网格聚类分析的暴力行为检测方法。

背景技术

对于传统的利用图像处理检测暴力事件的手段中，其核心往往为通过模板匹配，学习模型等方法去判断暴力事件的发生，由于暴力事件发生的复杂性，这种手段的泛用性可能较为不佳，计算量大。针对这一情况，有必要设计一个针对于简化后的暴力事件模型的检测算法。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于网格聚类分析的暴力行为检测方法，通过视频图像信息计算多个运动物体间的聚合度变化趋势，以及通过人体检测，从而判断是否发生暴力事件。

为解决上述技术问题，本发明提供如下技术方案：一种基于网格聚类分析的暴力行为检测方法，包括如下步骤：

S1、从摄像设备或已有的视频文件中读取视频流，获取视频流中的源图片帧；

S2、将源图片帧进行预处理；

S3、检测预处理后的源图片帧中的人体，并将检测到的人体框出；

S4、获取源图片帧的光流特征点，并对对光流特征点进行光流追踪；

S5、对光流特征点进行聚类分析，从而获得图像中的运动物体，具体为：

将图片帧划分网格，设划分比例为N，h、w分别为图像帧的高度与宽度，m×n是网格的总个数，得到：

设b(i,j)为行序号为i(i＜m),列序号为j(j＜)网格内所存在光流点的数目，p(i)为这一图像帧检测到的光流特征点，一共有s个，δ(p(u))为判定光流点p(u)是否在序号为i、j的网格内，最后累加后则得到每个网格内光流点的个数b(i,j)：

S6、分析运动物体的运动情况，具体为：

遍历b(i,j),设运动物体判定阈值为K,存在b(i,j)＞K时，以i,j序号的网格位置作为该运动物体的位置，从而在这一帧图像中提取数个运动物体的位置，计算运动物体之间的最远距离，以这个最远距离表示运动物体的聚合度；

其中，在计算运动物体间的距离时，当需要判定的运动物体数目不多，直接计算所有运动物体间的距离d(x,y)，x,y为运动物体，得到聚合度P：

P＝max{d(x,y)}

当需要判定的运动物体数目较多时，使用凸包算法与旋转卡壳算法，求出运动物体间的最远距离；

S7、统计运动物体在连续图像帧中的聚合度变化趋势，用来判断暴力事件的检测。

进一步地，所述步骤S2的预处理，包括图像增益处理、图像灰度化处理、直方图均衡化处理以及图像平滑处理；

其中，所述图像增益处理具体为调节图像的对比度与亮度，公式如下：

g(i,j)＝αf(i,j)+β

式中，f(x)为源图像像素，g(x)为输出图像像素，α用于控制对比度，β用于控制亮度；

所述图像灰度化处理具体使用加权平均法将彩色图像转化为灰度图像，公式为：

(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

式中，f、R、G、B分别表示输出的灰度值以及输入的R、G、B分量；

所述直方图均衡化处理用于将原图像所有像素点的灰度分布从集中在某一区域均衡拉伸到整个灰度分布区域中,具体为：先对图像进行直方图计算，得到灰度图灰度分布的概率分布函数p(x)，由此函数计算累积概率分布函数c(x),最后利用累积概率分布函数对原始分布做均衡化拉伸得到新的分布,具体公式为：

设概率分布函数为p(x)，累积概率分布函数为：

式中，x为某一灰度值；

所述图像平滑处理具体使图片去噪平滑,公式为：

利用高斯公式在二维上的形式计算出权重矩阵后，将这一权重矩阵与图像作卷积则得到模糊后的图像。

进一步地，所述步骤S3中检测预处理后的源图片帧中的人体，具体通过使用lbp分类器和haar分类器，达到对人体目标追踪的目的，具体步骤为：

(1)预先制作人体样本，并将其使用lbp分类器和haar分类器进行训练：

人将体样本分为正样本与负样本，正样本即为人体的图片，负样本则为其他图片；

原始的lbp特征定义在一个3*3的窗口内，以中心的灰度值为基准，相邻的8个像素值分别与中心像素值作比较，若相邻像素值比中心像素值大，则该位置的被标记为1，否则为0；由此则产生8位二进制数，并将其称为该中心像素点的lbp值；

Haar特征是由矩阵特征模板表示，其包括若干全等的黑色矩阵和白色矩阵，矩特征值是白色矩阵的灰度值减去黑色矩阵像素值的和；

不同的物体有着不同的特征值，于是通过训练特征值获得人体图像的特征，在经过一定样本量的训练后，将人体图像与非人体图像通过特征值的区别分类出来；

在得到这个分类器后，新的人体图像也能被这个分类器所检测出来；

(2)将训练好的人体样本生成各自的xml文件，然后通过opencv的函数以及类的调用载入xml文件，对预处理后的源图片帧进行人体检测；

(3)将检测到的人体在图片中用矩形框标注出来。

进一步地，所述步骤S4，其具体为：

使用Lucas-Kanade光流算法处理图像，获取源图片帧的光流特征点：

Lucas-Kanade光流算法是一种两帧差分的光流估计算法，假设在一个小矩形窗口内其光流保持恒定，对相邻的两帧图像，若序列图像获取的时间间隔很短，且场景和光照条件变化缓慢，那么它们将满足灰度恒定约束，得到式：

I(μ,ν,k)＝I(μ+ε,ν+η,k+1)

式中，I(μ,ν,k)表示第k帧图像，I(μ,ν,k+1)表示第k+1帧图像；

根据上式，令I(x)＝I(μ,ν,k)、J(x+d)＝I(μ+ε,ν+η,k+1)，得到目标函数为：

式中，w表示一个小矩形窗口，d表示光流；

通过最小化残差E来得到光流d的估计值，得到式下式：

将J(x+d)按泰勒级数展开并线性逼近，代入上式中，得到光流d的估计值，如下式所示：

Lucas-Kanade光流算法通过计算局部区域的光流来获得目标的运动状态。

进一步地，所述凸包算法，其具体过程为：

在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包；

X的凸包使用X内所有点(X₁，X₂，X₃，…，X_n)的线性组合来构造；

在给定二维平面上的点集中，所述凸包就是将最外层的点连接起来构成的凸多边型，它能包含点集中所有的点。

进一步地，所述旋转卡壳算法，其具体过程为：

不断旋转凸包，同时查询每次旋转后的对踵点，计算对踵点间的距离，在旋转计算完所有对踵点的距离后，取这些距离的最大值即得到凸包的最长直径，也就是平面上的两两点的最长距离。

进一步地，所述S7，其具体为：

在存在物体运动的图像序列中，统计其中每一帧聚合度变化的趋势，若在连续的数秒内，聚合度有着明显减小的趋势，则判定发生暴力事件，判断公式为：

式中，S为聚合度，k为聚合度降低趋势阈值。

采用上述技术方案后，本发明至少具有如下有益效果：

1、相比以往的公共场合暴力检测手段，本发明的精度更高，反应速度更快。

2、本发明采用了机器检测与人工检测结合的方法，不仅能通过算法检测暴力事件的发生，还提供了人体的检测技术以便监测人员更好的获得监控现场的状况，提高了本检测方法的稳定性。

附图说明

图1是本发明一种基于网格聚类分析的暴力行为检测方法的步骤流程图；

图2是本发明实施例凸包构建中Graham扫描法步骤1示意图；

图3是本发明实施例凸包构建中Graham扫描法步骤2示意图；

图4是本发明实施例凸包构建中Graham扫描法步骤3示意图；

图5是本发明实施例凸包构建中Graham扫描法步骤4示意图；

图6是本发明实施例凸包构建中Graham扫描法步骤5示意图；

图7是本发明实施例凸包构建中Graham扫描法步骤6示意图；

图8是本发明实施例凸包构建中Graham扫描法步骤7示意图；

图9是本发明实施例中旋转卡壳算法查询凸包得到最长直径的时刻示意图；

图10是本发明实施例中旋转卡壳算法查询每次旋转的对踵点对的距离示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1所示，本发明公开了一种基于网格聚类分析的暴力行为检测方法，其主要步骤共有7步，分别是源图像帧的获取、图像预处理、人体检测、光流追踪、对光流特征点进行聚类分析、运动物体判断以及暴力事件判定，下面对每一步骤进行详细的描述。

1、源图片帧的获取：从摄像头设备或已有视频文件中读取视频流，获取其中的源图片帧。

2、图像预处理：将源图片进行去噪、平滑、增益以及灰度等处理，供后续的人体检测以及光流追踪处理：

(1)图像增益：调节图像的对比度与亮度，用如下公式：

g(i,j)＝αf(i,j)+β

其中f(x)为源图像像素，g(x)为输出图像像素，通常用α控制对比度、β控制亮度；

(2)图像灰度化处理：使用加权平均法将彩色图像转化为灰度图像，用如下公式：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

式中，f、R、G、B分别表示输出的灰度值以及输入的R、G、B分量；

(3)直方图均衡化处理：均衡化分布用于将原图像所有像素点的灰度分布从集中在某一区域均衡拉伸到整个灰度分布区域中；

具体步骤为：先对图像进行直方图计算，得到灰度图灰度分布的概率分布函数p(x)，由此函数计算累积概率分布函数c(x),最后利用累积概率分布函数对原始分布做均衡化拉伸得到新的分布；

设概率分布函数为p(x)，累积概率分布函数：

其中，x为某一灰度值；

(4)图像平滑处理，使图片去噪平滑，公式为：

利用高斯公式在二维上的形式计算出权重矩阵后，将这一权重矩阵与图像作卷积则得到模糊后的图像。

3、人体检测：通过使用lbp和haar分类器，达到对人体目标追踪的目的，而不是普通的任意物体的目标追踪，具体为：

(1)首先是要自己制作训练样本(因为本项目是对人体的追踪，所以要制作人体的样本，至少3000张以上的样本训练效果比较好)供后续的lbp和haar分类器使用，并且用制作好的样本进行训练；

(2)分类器训练好以后，将会生成各自的xml文件，然后就可以通过opencv的函数以及类的调用载入xml文件，对图片进行人体检测；

(3)将检测到的人体在图片中用矩形框标注出来。

4、光流追踪：

(1)图像灰度化处理；

(2)使用基于图像金字塔的Lucas-Kanade光流算法处理图像，获取光流特征点：Lucas-Kanade光流算法是一种两帧差分的光流估计算法，假设在一个小矩形窗口内其光流保持恒定，对相邻的两帧图像，若序列图像获取的时间间隔很短，且场景和光照条件变化缓慢，那么它们将满足灰度恒定约束，得到式(1)：

I(μ,ν,k)＝I(μ+ε,ν+η,k+1) (1)

式中，I(μ,ν,k)表示第k帧图像，I(μ,ν,k+1)表示第k+1帧图像；

根据式(1)，令I(x)＝I(μ,ν,k),J(x+d)＝I(μ+ε,ν+η,k+1)，得到目标函数如式(2)：

式中，w表示一个小矩形窗口，d表示光流；

通过最小化残差E来得到光流d的估计值，得到式(3)：

将J(x+d)按泰勒级数展开并线性逼近，代入式(3)中，得到光流d的估计值，如式(4)所示：

Lucas-Kanade光流算法通过计算局部区域的光流来获得目标的运动状态。

5、对光流特征点进行聚类分析：

以图像帧划分网格，设划分比例为N，h,、w分别为图像的高度与宽度，m×n是网格的总个数，公式为：

设b(i,j)为行序号为i(i＜m),列序号为j(j＜)网格内所存在光流点的数目，p(i)为这一图像帧检测到的光流特征点，一共有s个，δ(p(u))为判定光流点p(u)是否在序号为i,j的网格内，是则返回1，否则返回0，公式如下：

6、运动物体判断：

遍历b(i,j),，设运动物体判定阈值为K,，存在b(i,j)＞K时，以i、j序号的网格位置作为该运动物体的位置，从而在这一帧图像中提取数个运动物体的位置，计算运动物体之间的最远距离，以这个最远距离表示运动物体的聚合度；

在计算运动物体间的距离时：当需要判定的运动物体数目不多，直接计算所有运动物体间的距离d(x,y)，x,y为运动物体，得到聚合度P：

P＝max{d(x,y)}

当需要判定的运动物体数目较多时，使用凸包与旋转卡壳算法，求出运动物体间的最远距离；

凸包算法：凸包(Convex Hull)是一个计算几何(图形学)中的概念；

在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包；

X的凸包可以用X内所有点(X₁，...X_n)的线性组合来构造；

在二维欧几里得空间中，凸包可想象为一条刚好包著所有点的橡皮圈；

形象地说，给定二维平面上的点集，凸包就是将最外层的点连接起来构成的凸多边型，它能包含点集中所有的点；

为构建凸包，选用了Graham扫描法，时间复杂度为O(nlogn)；

思想：通过设置一个关于候选点的堆栈s来解决凸包问题；

从起始点开始遍历，保证每一条边相对于上一个邻接点都是向左转；

如图2-图8所示，以下用一个凸包构建的例子来说明这个Graham扫描法的原理：

步骤1、如图2，P0,P1,P2进栈；

步骤2、如图3，∠P1P2P3向左转，所以P2出栈，而∠P0P1P3是向左转所以P1不用出栈,P3进栈；

步骤3、如图4，∠P1P3P4是向右转，P4进栈；

步骤4、如图5，∠P3P4P5是向左转，P4出栈，∠P1P3P5是向右转,P5进栈；

步骤5、如图6，同理，会出现P6、P7、P8进栈；

步骤6、如图7，遇到P9，会出现P8、P9出栈，P9进栈；

步骤7、如图8，遇到i＝m(12),结束，凸包形成。

如图9所示，为旋转卡壳算法查询凸包得到最长直径的时刻。

如图10所示，为通过旋转卡壳算法查询每次旋转的对踵点对的距离。

可以证明，离散点之间的最长距离点对必定在凸包上，即最长距离为凸包这个多边形的直径，直径又由多边形的平行切线的最远距离决定的，所以只需要查询多边形的对踵点，计算出所有对踵点对的距离并得到最大值即为所求的最长距离。

此算法的优越之处在于随着边的旋转，对踵点对也随之旋转，于是可以快速的得到多边形的直径。

7、暴力事件判定：

在存在物体运动的片段中，统计其中每一帧聚合度变化的趋势，若存在一个连续的数秒内，聚合度有着明显减小的趋势，则判定发生暴力事件：

S为聚合度，k为聚合度降低趋势阈值。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (7)

1.一种基于网格聚类分析的暴力行为检测方法，其特征在于，包括如下步骤：

S1、从摄像设备或已有的视频文件中读取视频流，获取视频流中的源图片帧；

S2、将源图片帧进行预处理；

S3、检测预处理后的源图片帧中的人体，并将检测到的人体框出；

S4、获取源图片帧的光流特征点，并对对光流特征点进行光流追踪；

S5、对光流特征点进行聚类分析，从而获得图像中的运动物体，具体为：

将图片帧划分网格，设划分比例为N，h、w分别为图像帧的高度与宽度，m×n是网格的总个数，得到：

设b(i,j)为行序号为i(i＜m),列序号为j(j＜n)网格内所存在光流点的数目，p(i)为这一图像帧检测到的光流特征点，一共有s个，δ(p(u))为判定光流点p(u)是否在序号为i、j的网格内，最后累加后则得到每个网格内光流点的个数b(i,j)：

S6、分析运动物体的运动情况，具体为：

遍历b(i,j),设运动物体判定阈值为K,存在b(i,j)＞K时，以i,j序号的网格位置作为该运动物体的位置，从而在这一帧图像中提取数个运动物体的位置，计算运动物体之间的最远距离，以这个最远距离表示运动物体的聚合度；

其中，在计算运动物体间的距离时，当需要判定的运动物体数目不多，直接计算所有运动物体间的距离d(x,y)，x,y为运动物体，得到聚合度P：

P＝max{d(x,y)}

当需要判定的运动物体数目较多时，使用凸包算法与旋转卡壳算法，求出运动物体间的最远距离；

S7、统计运动物体在连续图像帧中的聚合度变化趋势，用来判断暴力事件的检测。

2.根据权利要求1所述的一种基于网格聚类分析的暴力行为检测方法，其特征在于，所述步骤S2的预处理，包括图像增益处理、图像灰度化处理、直方图均衡化处理以及图像平滑处理；

其中，所述图像增益处理具体为调节图像的对比度与亮度，公式如下：

g(i,j)＝αf(i,j)+β

式中，f(x)为源图像像素，g(x)为输出图像像素，α用于控制对比度，β用于控制亮度；

所述图像灰度化处理具体使用加权平均法将彩色图像转化为灰度图像，公式为：

(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

式中，f、R、G、B分别表示输出的灰度值以及输入的R、G、B分量；

所述直方图均衡化处理用于将原图像所有像素点的灰度分布从集中在某一区域均衡拉伸到整个灰度分布区域中,具体为：先对图像进行直方图计算，得到灰度图灰度分布的概率分布函数p(x)，由此函数计算累积概率分布函数c(x),最后利用累积概率分布函数对原始分布做均衡化拉伸得到新的分布,具体公式为：

设概率分布函数为p(x)，累积概率分布函数为：

式中，x为某一灰度值；

所述图像平滑处理具体使图片去噪平滑,公式为：

利用高斯公式在二维上的形式计算出权重矩阵后，将这一权重矩阵与图像作卷积则得到模糊后的图像。

3.根据权利要求1所述的一种基于网格聚类分析的暴力行为检测方法，其特征在于，所述步骤S3中检测预处理后的源图片帧中的人体，具体通过使用lbp分类器和haar分类器，达到对人体目标追踪的目的，具体步骤为：

(1)预先制作人体样本，并将其使用lbp分类器和haar分类器进行训练：

人将体样本分为正样本与负样本，正样本即为人体的图片，负样本则为其他图片；

原始的lbp特征定义在一个3*3的窗口内，以中心的灰度值为基准，相邻的8个像素值分别与中心像素值作比较，若相邻像素值比中心像素值大，则该位置的被标记为1，否则为0；由此则产生8位二进制数，并将其称为该中心像素点的lbp值；

Haar特征是由矩阵特征模板表示，其包括若干全等的黑色矩阵和白色矩阵，矩特征值是白色矩阵的灰度值减去黑色矩阵像素值的和；

不同的物体有着不同的特征值，于是通过训练特征值获得人体图像的特征，在经过一定样本量的训练后，将人体图像与非人体图像通过特征值的区别分类出来；

在得到这个分类器后，新的人体图像也能被这个分类器所检测出来；

(2)将训练好的人体样本生成各自的xml文件，然后通过opencv的函数以及类的调用载入xml文件，对预处理后的源图片帧进行人体检测；

(3)将检测到的人体在图片中用矩形框标注出来。

4.根据权利要求1所述的一种基于网格聚类分析的暴力行为检测方法，其特征在于，所述步骤S4，其具体为：

使用Lucas-Kanade光流算法处理图像，获取源图片帧的光流特征点：

Lucas-Kanade光流算法是一种两帧差分的光流估计算法，假设在一个小矩形窗口内其光流保持恒定，对相邻的两帧图像，若序列图像获取的时间间隔很短，且场景和光照条件变化缓慢，那么它们将满足灰度恒定约束，得到式：

I(μ,ν,k)＝I(μ+ε,ν+η,k+1)

式中，I(μ,ν,k)表示第k帧图像，I(μ,ν,k+1)表示第k+1帧图像；

根据上式，令I(x)＝I(μ,ν,k)、J(x+d)＝I(μ+ε,ν+η,k+1)，得到目标函数为：

式中，w表示一个小矩形窗口，d表示光流；

通过最小化残差E来得到光流d的估计值，得到式下式：

将J(x+d)按泰勒级数展开并线性逼近，代入上式中，得到光流d的估计值，如下式所示：

Lucas-Kanade光流算法通过计算局部区域的光流来获得目标的运动状态。

5.根据权利要求1所述的一种基于网格聚类分析的暴力行为检测方法，其特征在于，所述凸包算法，其具体过程为：

在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包；

X的凸包使用X内所有点(X₁，X₂，X₃，…，X_n)的线性组合来构造；

在给定二维平面上的点集中，所述凸包就是将最外层的点连接起来构成的凸多边型，它能包含点集中所有的点。

6.根据权利要求1所述的一种基于网格聚类分析的暴力行为检测方法，其特征在于，所述旋转卡壳算法，其具体过程为：

不断旋转凸包，同时查询每次旋转后的对踵点，计算对踵点间的距离，在旋转计算完所有对踵点的距离后，取这些距离的最大值即得到凸包的最长直径，也就是平面上的两两点的最长距离。

7.根据权利要求1所述的一种基于网格聚类分析的暴力行为检测方法，其特征在于，所述S7，其具体为：

在存在物体运动的图像序列中，统计其中每一帧聚合度变化的趋势，若在连续的数秒内，聚合度有着明显减小的趋势，则判定发生暴力事件，判断公式为：

式中，S为聚合度，k为聚合度降低趋势阈值。

Images