CN109614882A - 一种基于人体姿态估计的暴力行为检测***及方法 - Google Patents

Abstract

本发明公开了一种基于人体姿态估计的暴力行为检测***，包括：视频获取单元，获取监控视频并同步传输到监控中心和云端；监控中心，实时显示和存储监控视频，并支持回放；云端，将所述监控视频转化成多帧图像，先采用OpenPose估计每帧图像中的人体姿态，再根据人体姿态的四肢方向判断该帧图像中是否存在暴力行为并判断暴力行为的类型，将分析结果传输给报警单元；报警单元，若所述云端识别出某帧图像中存在暴力行为，则实时发出报警信息。本发明还公开了一种基于人体姿态估计的暴力行为检测方法。本发明采用自底向上的人体姿态估计方法，其鲁棒性更高且时间开销稳定，可以实现本发明实时性的要求。

Description

一种基于人体姿态估计的暴力行为检测***及方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于人体姿态估计的 暴力行为检测***及方法。

背景技术

近年来，随着监控摄像头的日益普及，产生了大量的监控数据，若能 通过分析监控数据，从中识别出暴力行为，即在特定公共场合发生的、危 害公共安全的一系列行为，如打架斗殴等，那么对于社会的稳定和安全都 有很重大的意义。

人体姿态估计是计算机视觉领域的一个重要分支，用于定位图像中人 体的关键点，如头部、肩膀、肘部等。目前的做法有两种，包括自顶向下 和自底向上两种。其中自顶向下的方式是先检测出个人，然后再进行单人 姿态估计；自底向上的方法是直接估计人体的各个关键点以得到人体姿态。 前者在实施时受到检测个人时的准确率的影响，如果检测人体失败将不能 进行姿态估计，而且随着人数的增加，时间复杂度很高。相反地，后者对 于姿态估计来说更具有鲁棒性，且时间开销稳定。

分类问题是机器学习领域长久以来的一个基本问题，目前有很多算法 可以实现多类分类，包括支持向量机、逻辑回归、神经网络等，各种方法 都有其优缺点，相较于支持向量机和逻辑回归，神经网络的可解释性差， 但其准确率会高一些。

对于暴力行为检测，目前有基于轨迹的分析方法等，最新的方法是采 用自顶向下的方法利用人体姿态估计来进行检测，随着人数的增加，其时 间复杂度很高，并且鲁棒性不高。

公开号为CN107777498A的中国专利文献公开了一种电梯轿厢内暴力 行为检测方法，涉及行为识别领域，该方法包括：获取电梯轿厢的拍摄视 频；根据拍摄视频中连续的视频帧进行Shi-Tomasi角点检测，确定特征点； 根据特征点，通过Lucas-Kanada光流算法计算得到光流向量；根据得到的 光流向量判断是否为暴力帧，暴力帧是存在暴力行为的视频帧；根据暴力 帧的出现频率进行报警。但该方法只针对简单场景如电梯轿箱内的暴力行为，不适用于复杂的监视场景。

目前急需一种鲁棒性高，时间开销稳定的暴力行为检测技术，以实现 实时性要求。

发明内容

本发明提供了一种基于人体姿态估计的暴力行为检测***，该检测系 统利用现有监控***，结合云端的实时性，通过识别视频中人体的姿态来 判断是否发生了暴力行为，继而发出警报以便相关人员可以及时对所发生 的暴力事件做出恰当的处理。

具体技术方案如下：

一种基于人体姿态估计的暴力行为检测***，包括：

视频获取单元，获取监控视频并同步传输到监控中心和云端；

监控中心，实时显示和存储监控视频，并支持回放；

云端，将所述监控视频转化成多帧图像，先采用OpenPose估计每帧 图像中的人体姿态，再根据人体姿态的四肢方向判断该帧图像中是否存在 暴力行为并判断暴力行为的类型，将分析结果传输给报警单元；

报警单元，若所述云端识别出某帧图像中存在暴力行为，则实时发出 报警信息。

OpenPose是卡内基梅隆大学提出的一种可以在一张图片中高效发现 多人二维姿态的高效、实时的网络架构，其基于卷积神经网络和监督学习 并以caffe(一个深度学习框架)为框架，可以实现人的面部表情、躯干和 四肢甚至手指的跟踪，适用多人且具有较好的鲁棒性。

OpenPose采用的是自底向上的人体姿态估计方法，是直接估计人体 的各个关键点以得到人体姿态，其鲁棒性更高且时间开销稳定，可以实现 本发明实时性的要求。

所述的视频获取单元和监控中心为各个公安部门或者机构安装的辅 助安保的监控***。所述的视频获取单元包括实时采集监控视频的摄像机， 以及将所述的监控视频传输到监控中心和云端的传输设备。

监控视频上传的目的地包括两个：监控中心和云端。监控中心主要是 对来自前端的视频流进行实时显示、存储和回放，便于在预警暴力行为发 生时可以显示以确认事件的发生，并且可以存储和回放以事后分析情况、 追究责任等。所述的云端为阿里云、亚马逊云或百度云，在云端上对监控 视频进行实时处理，实时监测是否有暴力行为的发生，便于在最短时间内 对暴力行为做出恰当的处理。

所述的云端存储有：

预处理模块，实时将所述监控视频转化为多帧图像；

特征提取模块，采用卷积神经网络对每帧图像进行特征提取，得到该 帧图像的特征图；

人体姿态识别模型，通过OpenPose训练得到，以所述特征图作为输 入，对人体姿态进行识别；

神经网络分类器，以人体姿态的四肢方向作为输入，判断该帧图像中 是否存在暴力行为并判断暴力行为的类型。

分类问题是机器学习领域长久以来的一个基本问题，目前有很多算法 可以实现多类分类，包括支持向量机、逻辑回归、神经网络等，各种方法 都有其优缺点，相较于支持向量机和逻辑回归，神经网络的可解释性差， 但其准确率会高一些，由于在本发明中涉及到的分类对于可解释的要求不 高，所以采用的是神经网络分类器对最终识别到的人体姿态进行分类，判 断某一帧图像中是否存在暴力行为或暴力行为属于哪一类。

优选的，所述的预处理模块将每秒监控视频转化为60帧图像。

将图像输入至特征提取模块之前需要将图像的大小调整为一致。

所述的特征提取模块以VGG19网络的前10层作为卷积神经网络，对 所述图像进行特征提取。

通过特征提取模块提取图像的特征图，可更好的辅助人体姿态识别模 型发挥作用。

所述的人体姿态识别模型通过OpenPose训练得到。OpenPose对人体 姿态的识别分为两个部分同时进行，第一个部分对关节位置进行预测，第 二部分对各个关节间的连接进行预测，每一部分都进行迭代预测，在连续 的各个阶段中调整上一阶段预测得到的结果，直到结果趋于稳定，表示模 型收敛。

在人体姿态识别模型中，预测关节位置和预测各个关节间的连接在同 一个网络中同时进行，故而需要引导网络在第一部分预测关节位置，在第 二部分预测关节连接，选择的方法是在每个阶段的最后使用两个损失函数， 每个部分一个，选用的是预测值与实际值的L2损失函数。同时，由于部 分图像中并没有标记出所有人，所以在损失函数上进行加权来避免惩罚那 些识别出却没有标记出的位置(如果图像中有人但是没有标注的话权重就 为0，那么这个部分如果检测出来的话虽然和标注不一致，但是不会惩罚)。

优选的，采用空中暴力个人(AVI)数据集对OpenPose进行训练获得 所述的人体姿态模型；采用空中暴力个人(AVI)数据集对神经网络分类 器进行训练。

空中暴力个人(AVI)数据集是剑桥大学等在2018年提出的一个新的 数据集，用于在无人机图像中识别暴力行为，有2000张标注图像，包含 了不同规模、位置、光照、模糊等因素，每个图像包含两个到十个人，共 10863个人，其中5124人(48％)参与了勒、拳打、脚踢、刀刺、以及射 击这五种暴力行为中的一种或多种。图像中的每个人都用14个关键点进行标注，包括头部、颈部等脸部信息；左肩、左肘、左手腕、右肩、右肘 和右手腕等手臂信息；还有左臀、左膝、左脚踝、右臀、右膝和右脚踝等 腿部信息。

优选的，采用空中暴力个人(AVI)数据集对OpenPose进行训练，包 括以下步骤：

(i)采用所述的特征提取模块提取数据集中图像的特征，将获得特 征图作为OpenPose的输入；

(ii)利用OpenPose第一阶段的卷积神经网络对所述特征图进行学 习，获得第一阶段的关节位置图和关节关联图；

所谓关节位置图，指的是以热图的形式将各个关节所在位置凸显出来； 关节连接图指的是一个肢干所连接的两个关节之间会有一系列二维向量 从其中一个部位指向另一个部位，比如说从右肘指向右手腕。

(iii)将所述的特征图与第N阶段的关节位置图和关节关联图整合， 作为第N+1阶段的输入，利用第N+1阶段的卷积神经网络进行学习，获 得第N+1阶段的关节位置图和关节关联图；其中N≥1；

(iv)重复步骤(iii)，直至准确率的提升值小于或等于预设值，结 束训练。

优选的，所述的OpenPose第一阶段的卷积神经网络有5个卷积层， 其中前三层的卷积核大小为3×3，后两层的卷积核大小为1×1；OpenPose 第二阶段以上的卷积神经网络有7个卷积层，其中前五层的卷积核大小为 7×7，后两层的卷积核大小为1×1。

进一步优选的，所述的OpenPose具有6个阶段。

人体姿态模型输出的是每帧图像中人体关键点的位置坐标(x，y)以 及各个关键点的连接。将各个关键点的连接所得到的姿态的四肢方向作为 输入，通过神经网络分类器进行学习，得到该帧图像的最后标签，即该帧 图像中是否存在暴力行为，若存在，则该暴力行为属于哪一类。

当云端识别出某一帧图像中存在暴力行为时，向报警单元发出信号， 报警单元实时报警。

本发明还提供了一种基于人体姿态估计的暴力行为检测方法，包括以 下步骤：

(1)获取监控视频并同步传输到监控中心和云端，分别进行实时显 示和分析检测；

(2)所述云端实时将获取的监控视频转化成多帧图像，先采用 OpenPose估计每帧图像中的人体姿态，再根据人体姿态的四肢方向判断 该帧图像中是否存在暴力行为并判断暴力行为的类型；

(3)若所述云端识别出某帧图像中存在暴力行为，则实时发出报警 信息。

随着监控摄像头的日益普及，产生了大量的监控数据，若能通过分析 监控数据，从中识别出诸如打架斗殴等暴力行为，那么对于社会的稳定和 安全都有很重大的意义。

与现有技术相比，本发明的有益效果为：

本发明的暴力行为检测方法从监控视频中识别人体姿态，并根据姿态 的四肢方向进行暴力行为检测，这个过程是实时进行的，以便安保人员和 管理者可以在暴力事件发生时及时发现以做出恰当的处理。

之前根据轨迹跟踪识别暴力行为的方法需要多帧图像才能得到结果， 耗时多；现有同样利用人体姿态估计方法来做暴力行为检测的方法，采用 的是自顶向下的方法，鲁棒性差且时间复杂度高；而本发明的暴力行为检 测装置与方法利用的是自底向上的人体姿态估计方法，更加快速，且鲁棒 性高；同时，本发明采用深度学习中的卷积神经网络对数据进行训练，以 得到图像中各部分像素间的联系以及全局信息的指导，准确性高。

附图说明

图1为本发明的暴力行为检测***的架构示意图；

图2为本发明的暴力行为检测***的工作流程示意图；

图3为监控端的架构示意图；

图4为识别端的流程示意图；

图5为Openpose结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是， 以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，基于人体姿态估计的暴力行为检测***包括监控端、识 别端和警报端，其中监控端包括四个部分，分别为前端摄像机、传输部分、 监控中心和云端；识别端由Openpose实现，警报端在识别后发出警报。

该暴力行为检测***工作流程如图2所示，具体如下：前端摄像机负 责采集视频信息，之后同步上传到监控中心进行实时显示和上传到云端实 时处理；在云端获取监控视频之后，按照每秒60帧获得监控图像，并对 图像进行预处理，再输入到Openpose中进行人体姿态估计；然后根据姿 态的四肢方向来预测暴力类别；如果识别到暴力行为时报警端便实时发出 警报；安保人员可以根据实时的显示进而确定暴力行为。该过程由监控端、 识别端和警报端分步实现。具体如下：

(1)监控端，将从前端摄像机获取的监控视频流一方面传到监控中 心实时显示；另一方面传到云端，实时处理监控图像。

监控端的整体工作流程如图3所示，包括：

首先通过摄像机采集视频，然后通过传输部分传输到监控中心显示， 并传输到云端进行实时处理。具体包括：

(1-1)前端摄像机部分，主要负责采集视频信息，例如监狱、学校 以及某些暴力行为多发地段等场景中都会按实际情况设有不同数量的监 控摄像头。

(1-2)传输部分，主要是把摄像机拍到的视频传输到监控中心和云 端。

对于监控中心，所有视频流可以通过光纤、***以模拟或者数字图 像的方式接入到监控中心；对于云端，不同厂家的云端服务有不同的上传 方法，这里以阿里云为例，可以直接利用RTMP协议将视频数据上传到云 存储OSS中。

这里将上传目的地分为两个部分，主要考虑到***既需要在云端进行 实时处理，也需要在监控中心进行实时可视化。

(1-3)监控中心，主要是对来自前端的视频流进行实时显示、存储 和回放，便于在暴力行为发生预警时可以显示以确认事件的发生，并且可 以存储和回放以事后分析情况、追究责任等。

(1-4)云端，这里云端的选择包括阿里云、亚马逊云、百度云等等， 这样做的目的主要是可以在云端上进行实时处理，便于在最短时间内对暴 力行为做出恰当的处理。

(2)识别端，从云中的视频中获取某一帧图像，先用Openpose在图 像中估计人体姿态，再利用四肢方向判断所属暴力行为。其工作流程如图 4所示，包括：

在云端的实时监控视频中获取图像，对图像进行预处理之后得到对应 的特征图；将特征图输入到一个卷积神经网络中学习到人体关节位置和关 节间的连接，这是openpose的阶段1；之后进入阶段2，整合上一阶段得 到的关节位置和关节间连接以及最开始得到的特征图，将这三部分输入到 一个卷积神经网络中，再次得到更为精确的人体关节位置和关节间连接； 如此重复到阶段N，直至关节位置和关节间连接的准确率增加小于某一设 定的阈值。通过上述openpose过程可以获得姿态的四肢方向，将其输入到 神经网络分类器中用来识别图像中的姿态是属于暴力类别中的哪个或者 不属于暴力行为。

这是本发明的重点部分，需要在云端实时处理，具体包括：

(2-1)输入监控图像；

输入图像为在云端的实时监控图像，由于存储的是视频信息，所以如 果要对图像进行处理的话，需要截取视频中的某一帧图像，本发明将视频 以每秒60帧变为一帧一帧的图像进行实时处理；

(2-2)图像预处理；

在将图像输入到模型之前，要对图像进行两个方面的处理，首先是图 像的大小需要保证一致，处理方法是直接将图片指定为需要的大小；其次 是需要对图像的特征进行提取，以辅助模型更好发挥作用，提取方式是将 大小一致的图像输入到一个卷积神经网络中学习其中的特征，本发明选用 的是VGG19网络的前10层作为卷积神经网络，由此得到关于图像的特征 图；

(2-3)利用OpenPose在监控图像中识别人体姿态；

在预测之前，需要先对OpenPose进行训练，所选用的数据集是空中 暴力个人(AVI)数据集，这是剑桥大学等在2018年提出的一个新的数据 集，用于在无人机图像中识别暴力行为，有2000张标注图像，包含了不 同规模、位置、光照、模糊等因素，每个图像包含两个到十个人，共10863 个人，其中5124人(48％)参与了勒、拳打、脚踢、刀刺、以及射击这五种暴力行为中的一种或多种。图像中的每个人都用14个关键点进行标 注，包括头部、颈部等脸部信息；左肩、左肘、左手腕、右肩、右肘和右 手腕等手臂信息；还有左臀、左膝、左脚踝、右臀、右膝和右脚踝等腿部 信息。

OpenPose整体结构如图5所示，分为两个部分同时进行，第一个部 分(S)对关节位置进行预测，第二部分(L)对各个关节间的连接进行预 测，每一部分都进行迭代预测，在连续的各个阶段中调整上一阶段预测得 到的结果，直到结果趋于稳定，表示模型收敛。

预测关节位置和连接各个关节这两个部分是同时进行的，且在同一个 网络中，故而需要引导网络在第一部分预测关节位置，在第二部分预测关 节连接，选择的方法是在每个阶段的最后使用两个损失函数，每个部分一 个，选用的是预测值与实际值的L2损失函数。同时，由于部分图像中并 没有标记出所有人，所以在损失函数上进行加权来避免惩罚那些识别出却 没有标记出的位置(如果图像中有人但是没有标注的话权重就为0，那么 这个部分如果检测出来的话虽然和标注不一致，但是不会惩罚。

整体的过程如下：

(2-3a)将经过预处理之后得到的特征图作为OpenPose的输入，输 入到过程的第一阶段；

(2-3b)利用第一阶段的卷积神经网络对特征图进行学习，在经过这 一阶段的学习之后，会得到一系列的关节位置图和关节关联图。第一阶段 的卷积神经网络有5个卷积层，前三层的卷积核为3×3，后两层为1×1。

所谓关节位置图，指的是以热图的形式将各个关节所在位置凸显出来； 关节连接图指的是一个肢干所连接的两个关节之间会有一系列二维向量 从其中一个部位指向另一个部位，比如说从右肘指向右手腕。

关节位置图实际上是对图像中人体关节位置进行预测，通过训练卷积 神经网络得到。同样地，关节连接图就是得到了各个关节位置后，要去连 接这些关节形成未知人数的人体姿态，这就需要对连接的正确性进行判断， 同样通过训练卷积神经网络得到。

(2-3c)从第二阶段开始，每个阶段的输入为来自前一个阶段的关节 位置图和关节连接图的结果以及最开始得到的特征图，将这些整合在一起 后作为输入，输入到该阶段的卷积神经网络中，这样会得到一个更为精确 的结果。第二阶段及之后的卷积神经网络有7个卷积层，前五个卷积核为 7×7，后两层为1×1。

(2-3d)在经过若干个阶段的学习之后，会得到一个相较于上一阶段 没有很明显的提升的结果，将这个结果作为最精确的结果，到此可结束训 练。

本发明采用经过6个阶段的学习之后得到的OpenPose作为人体姿态 识别模型进行人体姿态识别。

(2-4)根据人体姿态的四肢方向识别暴力种类。

步骤(2-3)输出的是图像中人体关键点的位置(x，y)以及各个关节 的连接，在本步骤中将各个关节连接所得到的姿态的四肢方向作为输入， 输入到神经网络分类器中进行学习，得到某张图像最后的标签：五个暴力 类别中的一个或几个或者属于非暴力。

(3)警报端，当识别端识别到某一种或者某几种暴力行为在视频流 的某一帧出现的时候，实时发出警报。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明， 应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡 在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在 本发明的保护范围之内。

Claims (9)

1.一种基于人体姿态估计的暴力行为检测***，其特征在于，包括：

视频获取单元，获取监控视频并同步传输到监控中心和云端；

监控中心，实时显示和存储监控视频，并支持回放；

云端，将所述监控视频转化成多帧图像，先采用OpenPose估计每帧图像中的人体姿态，再根据人体姿态的四肢方向判断该帧图像中是否存在暴力行为并判断暴力行为的类型，将分析结果传输给报警单元；

报警单元，若所述云端识别出某帧图像中存在暴力行为，则实时发出报警信息。

2.根据权利要求1所述的基于人体姿态估计的暴力行为检测***，其特征在于，所述的云端存储有：

预处理模块，实时将所述监控视频转化为多帧图像；

特征提取模块，采用卷积神经网络对每帧图像进行特征提取，得到该帧图像的特征图；

人体姿态识别模型，通过OpenPose训练得到，以所述特征图作为输入，对人体姿态进行识别；

神经网络分类器，以人体姿态的四肢方向作为输入，判断该帧图像中是否存在暴力行为并判断暴力行为的类型。

3.根据权利要求2所述的基于人体姿态估计的暴力行为检测***，其特征在于，所述的预处理模块将每秒监控视频转化为60帧图像。

4.根据权利要求2所述的基于人体姿态估计的暴力行为检测***，其特征在于，所述的特征提取模块以VGG19网络的前10层作为卷积神经网络，对所述图像进行特征提取。

5.根据权利要求2所述的基于人体姿态估计的暴力行为检测***，其特征在于，采用空中暴力个人数据集对OpenPose和神经网络分类器进行训练。

6.根据权利要求5所述的基于人体姿态估计的暴力行为检测***，其特征在于，采用空中暴力个人数据集对OpenPose进行训练，包括以下步骤：

(i)采用所述的特征提取模块提取数据集中图像的特征，将获得特征图作为OpenPose的输入；

(ii)利用OpenPose第一阶段的卷积神经网络对所述特征图进行学习，获得第一阶段的关节位置图和关节关联图；

(iii)将所述的特征图与第N阶段的关节位置图和关节关联图整合，作为第N+1阶段的输入，利用第N+1阶段的卷积神经网络进行学习，获得第N+1阶段的关节位置图和关节关联图；其中N≥1；

(iv)重复步骤(iii)，直至准确率的提升值小于或等于预设值，结束训练。

7.根据权利要求6所述的基于人体姿态估计的暴力行为检测***，其特征在于，所述的OpenPose第一阶段的卷积神经网络有5个卷积层，其中前三层的卷积核大小为3×3，后两层的卷积核大小为1×1；OpenPose第二阶段以上的卷积神经网络有7个卷积层，其中前五层的卷积核大小为7×7，后两层的卷积核大小为1×1。

8.根据权利要求6所述的基于人体姿态估计的暴力行为检测***，其特征在于，所述的OpenPose具有6个阶段。

9.一种基于人体姿态估计的暴力行为检测方法，其特征在于，包括以下步骤：

(1)获取监控视频并同步传输到监控中心和云端，分别进行实时显示和分析检测；

(2)所述云端实时将获取的监控视频转化成多帧图像，先采用OpenPose估计每帧图像中的人体姿态，再根据人体姿态的四肢方向判断该帧图像中是否存在暴力行为并判断暴力行为的类型；

(3)若所述云端识别出某帧图像中存在暴力行为，则实时发出报警信息。