CN113269076A - 基于分布式监控的暴力行为检测***及检测方法 - Google Patents

Abstract

基于分布式监控的暴力行为检测***及检测方法，涉及模式识别技术。是为了解决现有的暴力行为检测方法的算法复杂度高，检测的实时性差，不适合进行大规模暴力检测的问题，本发明提出一种基于分布式监控的暴力行为检测***，该方法通过监控摄像头采集并处理视频数据，并将数据传输到监控中心，在监控中心提取特征并筛选，通过训练分类器模型，完成暴力行为的检测。本发明同时提出了改进的Openpose模型，能够大幅减小模型的算法复杂度，提高暴力动作检测方法的实时性。

Description

基于分布式监控的暴力行为检测***及检测方法

技术领域

本发明涉及模式识别技术。

背景技术

伴随着新媒体时代的发展，带来极大便利的同时，各类暴力、低俗的内容也接踵而至， 暴力行为相继出现在生活的各个角落，暴力行为是指采用暴力手段对人的身体、心理造成 伤害的负面行为。目前已有一些基于图像的暴力动作检测方法，根据采集的图像判断其中 人物是否有暴力行为，但是目前的暴力动作检测方法的算法复杂度高，导致暴力动作检测 的实时性较差，不适合进行大规模暴力动作检测。

发明内容

本发明是为了解决现有的暴力行为检测方法的算法复杂度高，检测的实时性差，不适 合进行大规模暴力检测的问题，从而提供一种基于分布式监控的暴力行为检测***及检测 方法。

基于分布式监控的暴力行为检测***，其特征是：它包括监控中心、M个监控摄像头和M个嵌入式设备，所述M为正整数，

所述M个监控摄像头分布在待监控区域，

每个监控摄像头均用于采集待监控的区域的图像信息；

M个嵌入式设备分别嵌入M个监控摄像头中，用于处理监控摄像头采集到的图像数据，还用于将嵌入式设备处理后的监控摄像头采集图像数据通过有线/无线网络发送给监控中心；

监控中心用于分析、处理收到的处理后的监控摄像头采集图像数据，检测可能存在的 暴力动作。

基于分布式监控的暴力行为检测***的分布式监控的暴力行为检测方法，在一个时间 周期下，它包括以下步骤：

步骤一、将已标记不同编号的M个监控摄像头分别采集待监控的区域的图像信息；获得M张监控摄像头采集图像；

步骤二、M个监控摄像头分别通过M个嵌入式设备中嵌入的改进COCO模型和改进的Openpose模型对步骤一获得的M张监控摄像头采集图像进行处理，获得处理后的监控 摄像头采集图像数据；

步骤三、M个监控摄像头将步骤二获得的处理后的监控摄像头采集图像数据通过有 线/无线网络发送给监控中心；

步骤四、监控中心接收步骤三发送的处理后的监控摄像头采集图像数据，并检测所述 摄像头采集图像数据中是否存在“暴力行为”，并在检测到存在“暴力行为”时，通过有线/无线网络向个人终端发出告警信息；

步骤五、个人终端接收并输出步骤四所述的告警信息，完成一次基于分布式监控的暴 力行为检测***的分布式监控的暴力行为检测。

步骤二中，M个监控摄像头分别通过M个嵌入式设备中嵌入的改进COCO模型对步骤一获得的M张监控摄像头采集图像进行处理，获得处理后的监控摄像头采集图像数据 的具体方法为：

利用M个嵌入式设备对步骤一获得的M张监控摄像头采集图像进行人体骨骼关键点 提取，然后采用改进的OpenPose模型提取人体骨骼点构成人体骨骼模型，形成只包含骨骼模型的视频流；将所述只包含骨骼模型的视频流作为处理后的监控摄像头采集图像数据。

步骤四中监控中心接收步骤三发送的处理后的监控摄像头采集图像数据，并检测所述 摄像头采集图像数据中是否存在“暴力行为”的具体方法是：

步骤四一、监控中心处接收到视频流后，首先对骨骼模型进行尺寸归一化，并根据前 帧中骨骼点之间的相对位置对缺失的骨骼点进行填充。采用滑动窗对数据流进行分割，K 帧)为一个基本处理单元，K为正整数，对每个基本处理单元提取形态特征和动态特征，然后对提取的特征进行筛选，最后利用分类器完成暴力动作的识别分类；

步骤四二、当检测到存在“暴力行为”时，监控中心将包含摄像头编号及位置的告警 信息发送到个人终端，并向该摄像头(搭载的嵌入式设备)发送指令，将对应暴力行为的原视频回传至监控中心。

本发明提出一种基于分布式监控的暴力行为检测***，该方法通过监控摄像头(和搭 载的嵌入式设备)采集并处理视频数据，并将数据传输到监控中心，在监控中心提取特征 并筛选，通过训练分类器模型，完成暴力行为的检测。本发明同时提出了改进的Openpose 模型，能够大幅减小模型的算法复杂度，提高暴力动作检测方法的实时性。

附图说明

图1是本发明所述改进的OpenPose模型的网络结构图；

图2是本发明所述的人体骨骼关键点提取示意图

具体实施方式

具体实施方式一、基于分布式监控的暴力行为检测***，其特征是：它包括监控中心、M个监控摄像头和M个嵌入式设备，所述M为正整数，

所述M个监控摄像头分布在待监控区域，

每个监控摄像头均用于采集待监控的区域的图像信息；

M个嵌入式设备分别嵌入M个监控摄像头中，用于处理监控摄像头采集到的图像数据，还用于将嵌入式设备处理后的监控摄像头采集图像数据通过有线/无线网络发送给监控中心；

监控中心用于分析、处理收到的处理后的监控摄像头采集图像数据，检测可能存在的 暴力动作。

本具体实施方式中，监控中心采用PC机或服务器实现。

本具体实施方式中，每个监控摄像头均是固定式监控装置或移动式监控装置，例如： 临时架设或车载的移动式监控装置。

本具体实施方式中，还包括N个个人终端，N为正整数，所述每个个人终端均用于接收监控中心发送的告警消息，并输出。

1、具体实施方式二、基于步骤一的基于分布式监控的暴力行为检测***的分布式监 控的暴力行为检测方法，在一个时间周期下，它包括以下步骤：

步骤一、将已标记不同编号的M个监控摄像头分别采集待监控的区域的图像信息；获得M张监控摄像头采集图像；

步骤二、M个监控摄像头分别通过M个嵌入式设备中嵌入的改进COCO模型和 改进的Openpose模型对步骤一获得的M张监控摄像头采集图像进行处理，获得处理 后的监控摄像头采集图像数据；

步骤三、M个监控摄像头将步骤二获得的处理后的监控摄像头采集图像数据通过有线/无线网络发送给监控中心；

步骤四、监控中心接收步骤三发送的处理后的监控摄像头采集图像数据，并检测所述摄像头采集图像数据中是否存在“暴力行为”，并在检测到存在“暴力行为”时， 通过有线/无线网络向个人终端发出告警信息；

步骤五、个人终端接收并输出步骤四所述的告警信息，完成一次基于分布式监控的暴力行为检测***的分布式监控的暴力行为检测。

步骤二中，M个监控摄像头分别通过M个嵌入式设备中嵌入的改进COCO模型对 步骤一获得的M张监控摄像头采集图像进行处理，获得处理后的监控摄像头采集图 像数据的具体方法为：

利用M个嵌入式设备对步骤一获得的M张监控摄像头采集图像进行人体骨骼关 键点提取，然后采用改进的OpenPose模型提取人体骨骼点构成人体骨骼模型，形成 只包含骨骼模型的视频流；将所述只包含骨骼模型的视频流作为处理后的监控摄像头 采集图像数据。

步骤四中，监控中心接收步骤三发送的处理后的监控摄像头采集图像数据，并检测所 述摄像头采集图像数据中是否存在“暴力行为”的具体方法是：

步骤四一、监控中心处接收到视频流后，首先对骨骼模型进行尺寸归一化，并根据前 帧中骨骼点之间的相对位置对缺失的骨骼点进行填充。采用滑动窗对数据流进行分割，K 帧)为一个基本处理单元，K为正整数，对每个基本处理单元提取形态特征和动态特征，然后对提取的特征进行筛选，最后利用分类器完成暴力动作的识别分类；

步骤四二、当检测到存在“暴力行为”时，监控中心将包含摄像头编号及位置的告警 信息发送到个人终端，并向该摄像头(搭载的嵌入式设备)发送指令，将对应暴力行为的原视频回传至监控中心。

基于分布式监控的暴力行为检测***，其工作方式包括以下步骤：

步骤一、基于分布式监控的骨骼点检测：

①改进COCO骨骼模型，剔除头部的三个对暴力动作检测作用较小的骨骼点，精简头部结构，构成包含14个骨骼点的骨骼模型，对应的骨骼点和编号如表1所示；

表1 人体骨骼点模型以及对应的标签

②利用改进的Openpose模型提取目标骨骼模型，改进的Openpose模型的网络结构如图1所示。

原始Openpose模型的图像特征提取部分由VGG-19网络的前10层和额外的两个卷积 核组成，将底层更换为ResNet-51的结构的前22层提取特征，修剪网络中的权值连接，减少模型参数，利用改进的Openpose模型从视频流中提取目标骨骼模型，帧图像提取的 结果如图2所示；

③原始Openpose模型和改进Openpose模型性能对比，对于模型训练的时间，通过对 比改进模型前后的迭代损失，在100000次迭代时改进的OpenPose模型就已经十分接近原始模型在200000迭代的效果，如表2所示，改进前后的评价性能指标如表3所示，在 不影响模型精度的情况下，减少了模型的训练周期，提高了骨骼点提取的实时性。

表2 不同模型的迭代损失值对比

表3 不同模型的评价指数对比

步骤二、基于分布式监控的数据传输：

从监控摄像头(搭载的嵌入式设备)到监控中心传输视频流，分为两种情况，第一种 为有线直连和无线直连；第二种为采用无线自组网的方式进行连接，下面对两种情况分别 说明：

第一种为监控摄像头(搭载的嵌入式设备)和监控中心通过有线或者无线的方式直连， 可以直接通信传输视频流数据；

第二种为监控摄像头(搭载的嵌入式设备)和监控中心通过无线自组网的方式连接， 即不是每个监控摄像头(搭载的嵌入式设备)都可直接与监控中心通信时，采用无线自组 网路由协议建立每个监控摄像头(搭载的嵌入式设备)到监控中心的路由，以多跳方式将 骨骼模型由监控摄像头(搭载的嵌入式设备)传输到监控中心，相应的步骤如下：

①每个监控摄像头处的嵌入式设备搭载无线网卡，用于数据传输；

②配置无线网卡，使其工作在AD-HOC模式下；

③采用无线自组网路由协议建立每个监控摄像头(搭载的嵌入式设备)到监控中心的 路由，采用最优链路状态路由协议(OLSR)进行自组网，在每个监控摄像头处的嵌入式设备上和监控中心处配置OLSR协议。每个节点均运行OLSR协议，通过无线自组网实 现了监控摄像头(搭载的嵌入式设备)到监控中心视频流的多跳传输。

步骤三、基于骨骼模型的暴力动作检测：

①对骨骼模型预处理，将不同宽高比图像的尺寸归一化，然后根据前帧中骨骼点间的 相对位置对缺失关键点进行填充，见式(1)和(2)，如果本帧中颈部和2个腰部关键点都缺 失，则丢弃本帧。并采用滑动窗对数据流进行分割，每0.2秒(5帧)为一个基本处理单元。式中，x表示横坐标，y表示纵坐标，B表示躯干长度，cur下标表示当前帧，pre下 标表示前一帧，i下标表示第i个关节点；

②对每个基本处理单元提取特征，分别从人体形态和动态两个方面提取特征，从人体形态 方面提取距离特征、角度特征和人体高宽比特征。距离特征采用距离比的方法，距离特征 D(i,j,n)的计算方法见式(3)，式中，i，j分别表示第i个关节点和第j个关节点，n表示第 n帧图像，d(i,j,n)表示两个骨骼点间的欧氏距离，B表示人体躯干长度，共提取14类的 特征，每个基础单元有5帧，共70组特征，如表4所示，以D(2,3,n)为例， RSHOULDER_RELBOW_D表示右肩和右肘之间的距离特征，两个骨骼点间的角度关系 的计算公式见式(4)，角度特征采用人体站立时骨骼点间的角度关系作为基础角度，用 base_angle表示，以相对基础角度的变化值作为特征，将角度特征控制在(-π,π]范围内， 角度特征θ(i,j,n)′的计算公式见式(5)，角度特征共提取了12类60组特征。

表4 距离特征描述参数

表5 角度特征描述参数

对于人体高宽比特征，每帧图像中x轴方向的骨骼点坐标的最大值和最小值差值定义 为宽度，y轴方向上骨骼点坐标的最大值和最小值差值定义为高度，高度和宽度的比值即 为高宽比特征，共提取5组特征。动态特征是用来描述两个相邻帧间同一骨骼点的位置变 化(后一帧骨骼点相对于前一帧该骨骼点的位移矢量)，骨骼模型共14个骨骼点，针对每 个骨骼点提取动态特征(位移矢量)，共提取14类特征，每两帧之间提取一类特征，每个基础单元提取4组动态特征，一共提取56组动态特征。对于每个基本处理单元，共提取 特征191组；

③采用Relief-F算法对特征进行筛选，降低特征的维度，首先根据特征对分类的贡献 度去除无用特征，然后对Relief-F算法选择出的特征计算其相关性矩阵，去掉相关性强的 冗余特征，最终选择出50维的特征参与暴力动作分类；

④将得到的50维特征向量集合按照不同动作类型划分为2大类动作：暴力动作和非 暴力动作；并进一步划分为10类动作：站立、行走、奔跑、跳跃、坐、踢、击打、推搡、 推倒、摔倒。将划分好的动作类型的特征向量集合平均划分为2组，1组用作训练集，1 组用作测试集。用训练集训练SVM分类器，然后用测试集测试分类器，分类结果如表6 所示。在10类动作中：踢、击打、推搡、推倒为4类暴力动作；站立、行走、奔跑、跳 跃、坐、摔倒为非暴力动作。计算得到暴力识别的混淆矩阵，如表7所示。

表6 10类动作的识别转换率(单位：％)

表7 暴力识别混淆矩阵(单位：％)

识别率accuracy＝94.2％，精确度precision＝97.1％，召回率recall＝90.5％，F₁＝93.7％，分类 结果表明本发明提出的方法有效。

步骤四、个人终端显示监控中心的告警消息：

①监控中心检测到暴力动作后，立即将包含检测出暴力行为的监控摄像头编号(ID) 和位置信息发送到个人终端，及时制止暴力动作，减少暴力事件产生的影响；

②监控中心向该摄像头通过有线/无线的方式发送指令信号，监控摄像头在收到指令信号 后，将对应该暴力行为的原图像回传至监控中心，用于保存暴力行为的证据。

Claims (9)

1.基于分布式监控的暴力行为检测***，其特征是：它包括监控中心、M个监控摄像头和M个嵌入式设备，所述M为正整数，

所述M个监控摄像头分布在待监控区域，

每个监控摄像头均用于采集待监控的区域的图像信息；

M个嵌入式设备分别嵌入M个监控摄像头中，用于处理监控摄像头采集到的图像数据，还用于将嵌入式设备处理后的监控摄像头采集图像数据通过有线/无线网络发送给监控中心；

监控中心用于分析、处理收到的处理后的监控摄像头采集图像数据，检测可能存在的暴力动作。

2.根据权利要求1所述的基于分布式监控的暴力行为检测***，其特征在于监控中心还用于在检测出暴力动作后，向有线/无线网络发送告警消息。

3.根据权利要求2所述的基于分布式监控的暴力行为检测***，其特征在于监控中心采用PC机或服务器实现。

4.根据权利要求3所述的基于分布式监控的暴力行为检测***，其特征在于每个监控摄像头均是固定式监控装置或移动式监控装置。

5.根据权利要求4所述的基于分布式监控的暴力行为检测***，其特征在于每个监控摄像头均是临时架设或车载的移动式监控装置。

根据权利要求2所述的基于分布式监控的暴力行为检测***，其特征在于它还包括N个个人终端，N为正整数，所述每个个人终端均用于接收监控中心发送的告警消息，并输出。

6.根据权利要求6所述的基于分布式监控的暴力行为检测***，其特征在于每个嵌入式设备中内嵌改进的COCO模型和改进的Openpose模型。

7.基于权利要求6所述的基于分布式监控的暴力行为检测***的分布式监控的暴力行为检测方法，其特征是：在一个时间周期下，它包括以下步骤：

步骤一、将已标记不同编号的M个监控摄像头分别采集待监控的区域的图像信息；获得M张监控摄像头采集图像；

步骤二、M个监控摄像头分别通过M个嵌入式设备中嵌入的改进COCO模型和改进的Openpose模型对步骤一获得的M张监控摄像头采集图像进行处理，获得处理后的监控摄像头采集图像数据；

步骤三、M个监控摄像头将步骤二获得的处理后的监控摄像头采集图像数据通过有线/无线网络发送给监控中心；

步骤四、监控中心接收步骤三发送的处理后的监控摄像头采集图像数据，并检测所述摄像头采集图像数据中是否存在“暴力行为”，并在检测到存在“暴力行为”时，通过有线/无线网络向个人终端发出告警信息；

步骤五、个人终端接收并输出步骤四所述的告警信息，完成一次基于分布式监控的暴力行为检测***的分布式监控的暴力行为检测。

8.根据权利要求7所述的基于分布式监控的暴力行为检测***的分布式监控的暴力行为检测方法，其特征在于步骤二中，M个监控摄像头分别通过M个嵌入式设备中嵌入的改进COCO模型对步骤一获得的M张监控摄像头采集图像进行处理，获得处理后的监控摄像头采集图像数据的具体方法为：

利用M个嵌入式设备对步骤一获得的M张监控摄像头采集图像进行人体骨骼关键点提取，然后采用改进的OpenPose模型提取人体骨骼点构成人体骨骼模型，形成只包含骨骼模型的视频流；将所述只包含骨骼模型的视频流作为处理后的监控摄像头采集图像数据。

9.根据权利要求8所述的基于分布式监控的暴力行为检测***的分布式监控的暴力行为检测方法，其特征在于步骤四中监控中心接收步骤三发送的处理后的监控摄像头采集图像数据，并检测所述摄像头采集图像数据中是否存在“暴力行为”的具体方法是：

步骤四一、监控中心处接收到视频流后，首先对骨骼模型进行尺寸归一化，并根据前帧中骨骼点之间的相对位置对缺失的骨骼点进行填充。采用滑动窗对数据流进行分割，K帧)为一个基本处理单元，K为正整数，对每个基本处理单元提取形态特征和动态特征，然后对提取的特征进行筛选，最后利用分类器完成暴力动作的识别分类；

步骤四二、当检测到存在“暴力行为”时，监控中心将包含摄像头编号及位置的告警信息发送到个人终端，并向该摄像头(搭载的嵌入式设备)发送指令，将对应暴力行为的原视频回传至监控中心。

Images