CN115311735A - 一种异常行为智能识别预警方法 - Google Patents

Abstract

本发明公开了一种异常行为智能识别预警方法，涉及人体行为识别、目标跟踪以及人脸识别技术领域。本发明通过运用人工智能、物联网、大数据、5G移动互联等前沿信息技术，通过广阔覆盖目标区域的高空摄像机网络，建设边缘计算视觉感知平台，实时监测和精确定位学生异常行为发生地；通过视频AI智能识别与预警管理***自动识别和定位异常行为人，***在视频图像中识别和定位后自动发出告警信息。本发明通过采集学生异常行为事件数据，实现异常事件的自动声光预警、实时信息传送和数据的统计与挖掘，从而能对学生异常行为判别及快速预警响应的***，最大程度的增强校园安全保障力度，提前预警，让悲剧事件的发生程度降低。

Description

一种异常行为智能识别预警方法

技术领域

本发明属于人体行为识别、目标跟踪以及人脸识别技术领域，特别是涉及一种异常行为智能识别预警方法。

背景技术

随着时代的不断发展，人们生活质量在不断提高，但伴随着的是家长对孩子的高要求，严管理，学生的心理压力不断增大，焦虑情绪不断被放大，导致校园悲剧事件不断频发；学校减少悲剧事件的发生，除了对学生进行心理方面的疏导，帮助孩子增强心理承受能力，培养健全的自我认识、对社会的了解之外，必要的预防措施也是校园安全管理重要的一环；当前的校园安全管理手段通常是通过校园监控***，人工值守、人为查看学生行为，对于有可能发生的悲剧事件很难做到智能监管、提前预警，往往待悲剧事件发生后，查看监控记录只能作为追责的手段，但此时生命逝去，于事无补。

发明内容

本发明的目的在于提供一种异常行为智能识别预警方法，以解决上述背景技术中提出的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种异常行为智能识别预警方法。

本方法的步骤如下：

S1：通过运用人工智能、物联网、大数据、5G移动互联等前沿信息技术，通过广阔覆盖目标区域的高空摄像机网络，建设边缘计算视觉感知平台，实时监测和精确定位学生异常行为发生地；

S2：通过视频AI智能识别与预警管理***自动识别和定位异常行为人，***在视频图像中识别和定位后自动发出告警信息，将信息实时发送到安全管理人员，从而实现通过***自动发现学生异常行为的目标。

进一步地，包括由高空联网摄像头、边缘计算视觉感知平台—智能云盒、实现信息交互的服务器和实时快速的5G传输网络组成的硬件结构以及由目标跟踪、行人重识别、轨迹分析、人脸识别和姿态检测与识别组成的软件结构。

进一步地，所述S1和S2步骤中均通过边缘计算视频感知节点硬件模块、轻量级深度神经网络行人检测模块、多目标跟踪基础模块、行为识别基础模块、行人重识别模块和人脸识别模块进行实现；

所述边缘计算视频感知节点硬件模块用于在摄像头部署点加入边缘设备进行行为人的检测识别支持；通过无线网络连接方式进行摄像头、边缘设备、服务器之间的通信传输，从而达到实时监测预警目标；

所述轻量级深度神经网络行人检测模块用于通过增加相关特征加强模型的鲁棒性，增强各种复杂环境下行为人的识别率；

所述多目标跟踪基础模块用于在事先不知道目标数量的情况下，对视频中多个目标进行检测并赋予ID进行轨迹跟踪；不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作。

进一步地，所述行为识别基础模块用于对输入的学生行为视频经过一系列的卷积、池化、全连接操作来对行为进行分类判别；

所述行人重识别模块用于利用计算机视觉算法对跨设备的行人图像或视频进行匹配，即给定一个查询图像，在不同监控设备的图像库检索出同一个行人；

所述人脸识别模块用于快速通过人脸对身份进行验证。

进一步地，所述所述多目标跟踪基础模块的步骤如下：

a.给定视频的原始帧，运行检测器以获得边界框;

b.对于每个检测到的物体，计算出不同的特征，通常是视觉和运动特征

c.通过相似度计算步骤计算两个对象属于同一目标的概率，最后为每个对象分配数字ID,便于后期进行查询。

进一步地，所述人脸识别模块由人脸检测、人脸对齐、人脸特征提取以及人脸识别组成；

用于在输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度最高的特征；将这个最高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的身份。

进一步地，所述告警信息的发送步骤如下：

①.通过人脸识别和姿态检测与识别，结合学生心理评测结果及学生行为历史记录，判定人物身份和是否存在异常行为，对身份及行为异常事件，实时生成初级响应信息，并通过预置方式发送指定目标，提醒注意；

②.通过AI识别和姿态检测与识别，判定锁定目标是否存在升级异常行为，并根据判定结果，自动执行预置的第二级响应方案，包括警报，通知老师或保安前往查看等；

③.通过信息回馈、AI识别和姿态检测与识别，判定锁定目标升级异常行为是否获得干预，并根据是否干预，及干预结果，自动进入执行预置第三级响应方案或成功干预后续方案；

④.通过信息回馈、AI识别和姿态检测与识别，评定干预行为达到与学生位置变化是否冲突，并实时反馈至指定目标，平台自动进入最高级别响应状态。

本发明具有以下有益效果：

本发明通过采集学生异常行为事件数据，实现异常事件的自动声光预警、实时信息传送和数据的统计与挖掘，从而能对学生异常行为判别及快速预警响应的***，最大程度的增强校园安全保障力度，提前预警，让悲剧事件的发生程度降低。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的结构示意图；

图2为本发明的轻量级行人检测模型结构图；

图3为本发明的多目标跟踪示意图；

图4为本发明的多目标跟踪网络结构图；

图5为本发明行为识别网络的方案示意图；

图6为本发明行人重识别的示意图；

图7为本发明人脸识别方案的流程图；

图8为本发明人脸识别应用的示意图；

图9为本发明运行示意图；

图10为本发明异常行为片段1进行识别的示意图；

图11为本发明异常行为片段2进行识别的示意图；

图12为本发明异常行为片段3进行识别的示意图；

图13为本发明异常行为片段4进行识别的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-13所示，本发明为一种异常行为智能识别预警方法。

为了减少校园悲剧事件，本发明综合运用人工智能、物联网、大数据、5G移动互联等前沿信息技术，通过广阔覆盖目标区域的高空摄像机网络，研发面向低成本的边缘计算视觉感知平台，实时监测和精确定位学生异常行为发生地；

本发明主要包括硬件和软件两方面，如图1所示；硬件主要有广阔覆盖目标区域的高空联网摄像头、面向低成本的边缘计算视觉感知平台——智能云盒、实现信息交互的服务器、实时快速的5G传输网络；

软件主要在AI算法层面，涉及到的算法技术主要包括目标跟踪、行人重识别、轨迹分析、人脸识别、姿态检测与识别等；

本发明的优势在于设计了一套高效实时的方案，通过视频AI智能识别与预警管理***自动识别和定位异常行为人，***在视频图像中识别和定位后自动发出告警信息，将信息实时发送到安全管理人员，从而实现通过***自动发现学生异常行为的目标，具体为以下几点；

1、响应速度快；通过在边缘端部署算法，实现对异常行为第一时间的快速响应；

2、算法领先；多目标跟踪算法准确率和效率高，同时对异常行为能快速识别，且准确率高；

3、部署成本低；无需新布设摄像头监控，利用校园已有监控设备实时监控预警；

4、对各种天气、光线情况识别鲁棒，能有效甄别各种情况下的行为，适用于各种条件；

（一）边缘计算视频感知节点硬件模块

本发明采用边缘设备进行部署，在摄像头部署点加入边缘设备进行行为人的检测识别支持；通过无线网络连接方式进行摄像头、边缘设备、服务器之间的通信传输，从而达到实时监测预警目标；

（二）轻量级深度神经网络行人检测模块

针对校园中的学生，设计出效果更佳的深度神经网络进行行人目标检测；模型需解决远距离、各种天气情况下的行人检测，通过增加相关特征加强模型的鲁棒性，增强各种复杂环境下行为人的识别率；网络如图2所示；

（三）多目标跟踪基础模块

多目标跟踪即在事先不知道目标数量的情况下，对视频中多个目标进行检测并赋予ID进行轨迹跟踪；不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作，如图3所示；多目标跟踪的步骤一般为，给定视频的原始帧，运行检测器以获得边界框，然后对于每个检测到的物体，计算出不同的特征，通常是视觉和运动特征，之后，通过相似度计算步骤计算两个对象属于同一目标的概率，最后为每个对象分配数字ID；多目标跟踪网络结构如图4所示；截至2020年5月，团队多目标跟踪技术在多目标跟踪数据集MOT17综合目标检测与跟踪精确率与速度指标上排名第一；

（四）行为识别基础模块

针对学生的行为，设计深度网络来进行识别，对输入的学生行为视频经过一系列的卷积、池化、全连接操作来对行为进行分类判别，行为识别网络设计方案如图5所示；

（五）行人重识别模块

行人重识别又被称为行人再识别，如今被视为图像检索的一类关键子问题；它是利用计算机视觉算法对跨设备的行人图像或视频进行匹配，即给定一个查询图像，在不同监控设备的图像库检索出同一个行人，如图6所示，即需要在不同的视频中找到同一个人；

（六）人脸识别模块

一个完整的人脸识别***包含四个主要组成部分，即人脸检测、人脸对齐、人脸特征提取以及人脸识别；目前，人脸识别技术较为成熟，其过程如图7所示，输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度最高的特征；将这个最高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的身份；目前，团队已成功将人脸识别技术用于人脸识别考勤机***，如图8所示。

参见图9-图13；输入一段视频，本发明首先能通过附图9的***自动识别和定位异常行为人（例如附图10中的异常行为和附图12的异常行为），***在视频图像中识别和定位后自动发出告警信息，将信息实时发送到安全管理人员，从而实现通过***自动发现学生异常行为的目标；具体过程如下；

通过人脸识别和姿态检测与识别算法，结合学生心理评测结果及学生行为历史记录，判定人物身份和是否存在异常行为，对身份及行为异常事件，实时生成初级响应信息，并通过预置方式发送指定目标，提醒注意；

2.通过AI算法和姿态检测与识别算法，判定锁定目标是否存在升级异常行为，并根据判定结果，自动执行预置的第二级响应方案，包括警报，通知老师或保安前往查看等；

3.通过信息回馈、AI算法和姿态检测与识别算法，判定锁定目标升级异常行为是否获得干预，并根据是否干预，及干预结果，自动进入执行预置第三级响应方案或成功干预后续方案；

4.通过信息回馈、AI算法和姿态检测与识别算法，评定干预行为达到与学生位置变化是否冲突，并实时反馈至指定目标，平台自动进入最高级别响应状态。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种异常行为智能识别预警方法，其特征在于，步骤如下：

S1：通过运用人工智能、物联网、大数据、5G移动互联等前沿信息技术，通过广阔覆盖目标区域的高空摄像机网络，建设边缘计算视觉感知平台，实时监测和精确定位学生异常行为发生地；

S2：通过视频AI智能识别与预警管理***自动识别和定位异常行为人，***在视频图像中识别和定位后自动发出告警信息，将信息实时发送到安全管理人员，从而实现通过***自动发现学生异常行为的目标。

2.根据权利要求1所述的一种异常行为智能识别预警方法，其特征在于，包括由高空联网摄像头、边缘计算视觉感知平台—智能云盒、实现信息交互的服务器和实时快速的5G传输网络组成的硬件结构以及由目标跟踪、行人重识别、轨迹分析、人脸识别和姿态检测与识别组成的软件结构。

3.根据权利要求1所述的一种异常行为智能识别预警方法，其特征在于，所述S1和S2步骤中均通过边缘计算视频感知节点硬件模块、轻量级深度神经网络行人检测模块、多目标跟踪基础模块、行为识别基础模块、行人重识别模块和人脸识别模块进行实现；

所述边缘计算视频感知节点硬件模块用于在摄像头部署点加入边缘设备进行行为人的检测识别支持；通过无线网络连接方式进行摄像头、边缘设备、服务器之间的通信传输，从而达到实时监测预警目标；

所述轻量级深度神经网络行人检测模块用于通过增加相关特征加强模型的鲁棒性，增强各种复杂环境下行为人的识别率；

所述多目标跟踪基础模块用于在事先不知道目标数量的情况下，对视频中多个目标进行检测并赋予ID进行轨迹跟踪；不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作。

4.根据权利要求3所述的一种异常行为智能识别预警方法，其特征在于，所述行为识别基础模块用于对输入的学生行为视频经过一系列的卷积、池化、全连接操作来对行为进行分类判别；

所述行人重识别模块用于利用计算机视觉算法对跨设备的行人图像或视频进行匹配，即给定一个查询图像，在不同监控设备的图像库检索出同一个行人；

所述人脸识别模块用于快速通过人脸对身份进行验证。

5.根据权利要求3所述的一种异常行为智能识别预警方法，其特征在于，所述所述多目标跟踪基础模块的步骤如下：

a.给定视频的原始帧，运行检测器以获得边界框;

b.对于每个检测到的物体，计算出不同的特征，通常是视觉和运动特征

c.通过相似度计算步骤计算两个对象属于同一目标的概率，最后为每个对象分配数字ID,便于后期进行查询。

6.根据权利要求4所述的一种异常行为智能识别预警方法，其特征在于，所述人脸识别模块由人脸检测、人脸对齐、人脸特征提取以及人脸识别组成；

用于在输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度最高的特征；将这个最高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的身份。

7.根据权利要求2所述的一种异常行为智能识别预警方法，其特征在于，所述告警信息的发送步骤如下：

①.通过人脸识别和姿态检测与识别，结合学生心理评测结果及学生行为历史记录，判定人物身份和是否存在异常行为，对身份及行为异常事件，实时生成初级响应信息，并通过预置方式发送指定目标，提醒注意；

②.通过AI识别和姿态检测与识别，判定锁定目标是否存在升级异常行为，并根据判定结果，自动执行预置的第二级响应方案，包括警报，通知老师或保安前往查看等；

③.通过信息回馈、AI识别和姿态检测与识别，判定锁定目标升级异常行为是否获得干预，并根据是否干预，及干预结果，自动进入执行预置第三级响应方案或成功干预后续方案；

④.通过信息回馈、AI识别和姿态检测与识别，评定干预行为达到与学生位置变化是否冲突，并实时反馈至指定目标，平台自动进入最高级别响应状态。

Images