CN112949359A - 基于卷积神经网络的异常行为识别方法和装置 - Google Patents

Abstract

本公开的实施例公开了一种基于卷积神经网络的异常行为识别装置，包括：异常行为检测模块，被配置为获取待识别的视频，对所述待识别的视频中的当前图像进行检测，利用异常行为检测模型确定所述当前图像中是否存在可疑的异常行为，并且当确定所述当前图像中存在可疑的异常行为时，确定所述可疑的异常行为的类别和针对所述可疑的异常行为的检测框，其中所述检测框覆盖发生所述可疑的异常行为的区域。

Description

基于卷积神经网络的异常行为识别方法和装置

技术领域

本公开涉及监控领域，具体地，涉及一种基于卷积神经网络的异常行为识别方法和装置。

背景技术

公共安全事关国家、社会的稳定，直接影响人民群众的生命财产安全。为了保障公共安全，实时发现安检场景的异常行为并及时预警以保障人民群众的出行安全是非常必要的。相比传统的方法，利用深度学习技术能够检测图像中的异常行为并对连续的动作进行识别。然而，如何有效、快速且实时地识别出视频中的行为动作仍然是众多研究人员的核心工作。

最近几年，基于深度学习的行为识别算法取得了重大突破，主要是卷积神经网络在机器视觉领域识别率的大幅提升。目前一些深度学习领域的视频行为识别方法可以分为两个方向，一个是需要人为选定感兴趣区域(ROI)，仅对视频场景中的特定区域进行监控，不能对整个场景进行有效监控；另一个是对整个场景中的行为进行识别，但是由于需要使用3D卷积神经网络，因此每次都对连续的多帧图像进行检测并分类，需要耗费很大的计算机资源，计算耗时长，很难达到实时检测和分类。

因此，需要一种无需在视频中选定ROI区域，就可以对视频中的遗留包裹、隔栏递物、打架斗殴等异常行为进行检测与识别的方法，即对公共交通、重大赛事活动、重点区域、人员密集区域等场所的监控视频内出现的异常行为进行自动检测以及准确定位与实时识别。

公开内容

根据本公开的实施例的一个方面，提供了一种基于卷积神经网络的异常行为识别装置，包括：

异常行为检测模块，被配置为获取待识别的视频，对所述待识别的视频中的当前图像进行检测，利用异常行为检测模型确定所述当前图像中是否存在可疑的异常行为，并且当确定所述当前图像中存在可疑的异常行为时，确定所述可疑的异常行为的类别和针对所述可疑的异常行为的检测框，其中所述检测框覆盖发生所述可疑的异常行为的区域。

在一个实施例中，所述异常行为检测模块被进一步配置为使用所述检测框在所述待识别的视频中从所述当前图像开始截取预定数量的连续图像；并且

所述异常行为识别装置还包括：异常行为识别模块，被配置为从所述异常行为检测模块获取所述预定数量的连续图像和所述检测框，利用异常行为识别模型确定所述连续图像中是否存在异常行为，并且当确定所述连续图像中存在异常行为时，确定所述异常行为的类别。

在一个实施例中，所述异常行为识别装置还包括：

接收模块，被配置为接收所述待识别的视频并向所述异常行为检测模块发送所述待识别的视频；以及

输出模块，被配置为从所述异常行为确定模块获取并输出所述可疑的异常行为的类别和所述检测框。

在一个实施例中，所述输出模块被进一步配置为从所述异常行为识别模块获取并输出所述异常行为的类别和所述检测框。

在一个实施例中，所述检测框是矩形框。

在一个实施例中，所述预定数量是16，并且所述预定数量的连续图像是以预定的时间间隔来截取的。

在一个实施例中，所述异常行为检测模型是使用异常行为数据集利用2D卷积神经网络来构建的。

在一个实施例中，所述异常行为识别模型是使用训练数据利用3D卷积神经网络来构建的，其中所述训练数据是利用所构建的异常行为检测模型从视频中截取的连续图像。

在一个实施例中，所述2D卷积神经网络是YOLOV3目标检测网络，其中所述YOLOV3网络采用3x3和1x1的卷积堆叠而成，不包含池化层，并且使用卷积层收缩图片。

在一个实施例中，所述3D卷积神经网络基于vgg16框架，其中2D卷积层和池化层替换为3D卷积层和3D池化层，并且输入层的维度为16x3x112x112。

根据本公开的实施例的另一方面，提供了一种基于卷积神经网络的异常行为识别方法，包括：

由异常行为检测模块获取待识别的视频；

由所述异常行为检测模块对所述待识别的视频中的当前图像进行检测；

由所述异常行为检测模块利用异常行为检测模型确定所述当前图像中是否存在可疑的异常行为；以及

当由所述异常行为检测模块确定所述当前图像中存在可疑的异常行为时，由所述异常行为检测模块确定所述可疑的异常行为的类别和针对所述可疑的异常行为的检测框，其中所述检测框覆盖发生所述可疑的异常行为的区域。

在一个实施例中，所述异常行为识别方法还包括：

由所述异常行为检测模块使用所述检测框在所述待识别的视频中从所述当前图像开始截取预定数量的连续图像；

由异常行为识别模块从所述异常行为检测模块获取所述预定数量的连续图像和所述检测框；

由所述异常行为识别模块利用异常行为识别模型确定所述连续图像中是否存在异常行为；以及

当所述异常行为识别模块确定所述连续图像中存在异常行为时，由所述异常行为识别模块确定所述异常行为的类别。

在一个实施例中，所述异常行为识别方法还包括：

由接收模块接收所述待识别的视频并向所述异常行为检测模块发送所述待识别的视频；以及

由输出模块从所述异常行为确定模块获取并输出所述可疑的异常行为的类别和所述检测框。

在一个实施例中，所述异常行为识别方法还包括：

由所述输出模块从所述异常行为识别模块获取并输出所述异常行为的类别和所述检测框。

在一个实施例中，所述检测框是矩形框。

在一个实施例中，所述预定数量是16，并且所述预定数量的连续图像是以预定的时间间隔来截取的。

在一个实施例中，所述异常行为检测模型是使用异常行为数据集利用2D卷积神经网络来构建的。

在一个实施例中，所述异常行为识别模型是使用训练数据利用3D卷积神经网络来构建的，其中所述训练数据是利用所构建的异常行为检测模型从视频中截取的连续图像。

在一个实施例中，所述2D卷积神经网络是YOLOV3目标检测网络，其中所述YOLOV3网络采用3x3和1x1的卷积堆叠而成，不包含池化层，并且使用卷积层收缩图片。

在一个实施例中，所述3D卷积神经网络基于vgg16框架，其中2D卷积层和池化层换成3D卷积层和3D池化层，并且输入层改为16x3x112x112。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出了根据本公开的实施例的基于卷积神经网络的异常行为识别装置的示意图；

图2示出了根据本公开的实施例的2D卷积神经网络的架构图；

图3示出了根据本公开的实施例的3D卷积神经网络的架构图；

图4示出了根据本公开的实施例的基于卷积神经网络的异常行为识别方法的流程图；

图5示出了根据本公开的实施例的基于卷积神经网络的另一异常行为识别方法的流程图；以及

图6示出了根据本公开的实施例的基于卷积神经网络的异常行为识别***的示意图。

附图没有对实施例的所有电路或结构进行显示。贯穿所有附图相同的附图标记表示相同或相似的部件或特征。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

图1示出了根据本公开的实施例的基于卷积神经网络的异常行为识别装置100的示意图。异常行为识别装置100可以包括异常行为检测模块110。

异常行为检测模块110可以被配置为获取待识别的视频，对待识别的视频中的当前图像进行检测，利用异常行为检测模型确定当前图像中是否存在可疑的异常行为(例如，遗留包裹、隔栏递物、打架斗殴等)，并且当确定当前图像中存在可疑的异常行为时，确定可疑的异常行为的类别和针对可疑的异常行为的检测框。检测框可以覆盖发生所述可疑的异常行为的区域，并且检测框通常可以是矩形框。应当理解的是，检测框的形状不限于矩形框，还可以是圆形框、正方形框等。异常行为检测模型可以是使用标注好的异常行为数据集利用2D卷积神经网络来构建的，其中2D卷积神经网络是YOLOV3目标检测网络，如图2所示，其中YOLOV3网络采用3x3和1x1的卷积堆叠而成，不包含池化层，并且使用卷积层收缩图片。

异常行为识别装置100还可以包括异常行为识别模块120。异常行为检测模块110可以被进一步配置为使用检测框在待识别的视频中从当前图像开始截取预定数量的连续图像。预定数量可以是16，并且预定数量的连续图像可以是以预定的时间间隔来截取的。异常行为识别模块120可以被配置为从异常行为检测模块110获取预定数量的连续图像和检测框，利用异常行为识别模型确定连续图像中是否存在异常行为，并且当确定连续图像中存在异常行为时，确定异常行为的类别。异常行为识别模型120可以是使用训练数据利用3D卷积神经网络来构建的，其中训练数据是利用所构建的异常行为检测模型从视频中截取的连续图像，并且3D卷积神经网络可以基于vgg16框架，如图3所示，其中2D卷积层和池化层替换为3D卷积层和3D池化层，并且输入层的维度为16x3x112x112。

异常行为识别装置100还可以包括输入模块130和输出模块140。输入模块110可以被配置为例如从相机、监控器等接收待识别的视频，并且向异常行为检测模块110发送待识别的视频。

输出模块140可以被配置为从异常行为确定模块110获取并输出可疑的异常行为的类别和检测框，以便于安检员、管理员等对可疑的异常行为进行处理。此外，输出模块140可以被进一步配置为从异常行为识别模块120获取并输出异常行为的类别和检测框，以便于安检员、管理员等对异常行为进行处理。

根据本公开的实施例，无需在视频中选定ROI区域的情况下，利用2D卷积神经网络对视频中的图像中出现的可疑异常行为进行检测的方法能够实时地发现视频中出现的遗留包裹、隔栏递物、打架斗殴等可疑的异常行为，并且利用2D卷积神经网络和3D卷积神经网络对整个视频中出现的异常行为进行检测与识别的方法能够更准确且实时地发现视频中出现的遗留包裹、隔栏递物、打架斗殴等异常行为。

图4示出了根据本公开的实施例的利用基于卷积神经网络的异常行为识别装置100执行基于卷积神经网络的异常行为识别方法400的流程图。

在步骤S1中，接收模块110可以例如从相机、监控器等接收待识别的视频。

在步骤S2中，异常行为检测模块110可以从接收模块110获取待识别的视频。

在步骤S3中，异常行为检测模块110可以对待识别的视频中的当前图像进行检测。

在步骤S4中，异常行为检测模块110可以利用异常行为检测模型确定当前图像中是否存在可疑的异常行为(例如，遗留包裹、隔栏递物、打架斗殴等)。异常行为检测模型可以是使用标注好的异常行为数据集利用2D卷积神经网络来构建的，其中2D卷积神经网络是YOLOV3目标检测网络，如图2所示，其中YOLOV3网络采用3x3和1x1的卷积堆叠而成，不包含池化层，并且使用卷积层收缩图片。

当由异常行为检测模块110确定当前图像中存在可疑的异常行为时，在步骤S5中，异常行为检测模块110可以确定可疑的异常行为和针对可疑的异常行为的检测框。当异常行为检测模块110确定当前图像中不存在可疑的异常行为时，当前流程结束。

在步骤S5之后，输出模块140可以从异常行为检测模块110获取并输出可疑的异常行为的类别和检测框，以便于安检员、管理员等对可疑的异常行为进行处理。

图5示出了根据本公开的实施例的利用基于卷积神经网络的异常行为识别装置100执行基于卷积神经网络的另一异常行为识别方法500的流程图。异常行为识别方法500中的步骤S1至S5与异常行为识别方法400中的步骤S1至S5相同，因此此处不再赘述。

在步骤S6中，异常行为检测模块110可以使用检测框在待识别的视频中从当前图像开始截取预定数量的连续图像，其中检测框可以覆盖发生可疑的异常行为的区域，并且检测框可以是矩形框。应当理解的是，检测框的形状不限于矩形框，还可以是圆形框、正方形框等。预定数量可以是16，并且预定数量的连续图像可以是以预定的时间间隔来截取的。

在步骤S7中，异常行为识别模块120可以从异常行为检测模块110获取预定数量的连续图像和检测框。

在步骤S8中，异常行为识别模块120可以利用异常行为识别模型确定连续图像中是否存在异常行为。异常行为识别模型可以是使用训练数据利用3D卷积神经网络来构建的，其中训练数据是利用所构建的异常行为检测模型从视频中截取的连续图像，并且3D卷积神经网络可以基于vgg16框架，如图3所示，其中2D卷积层和池化层替换为3D卷积层和3D池化层，并且输入层的维度为16x3x112x112。

当异常行为识别模块确定连续图像中存在异常行为时，在步骤S9中，异常行为识别模块120可以确定异常行为的类别。当异常行为识别模块120确定连续图像中不存在异常行为时，当前流程结束。

在步骤S9之后，输出模块140可以从异常行为识别模块120获取并输出异常行为的类别和检测框，以便于安检员、管理员等对异常行为进行处理。

根据本公开的实施例，基于2D卷积神经网络的单帧视频图像的异常行为动作检测和基于3D卷积神经网络对截取的连续多帧视频图像进行动作识别的方法既能在整个场景中准确定位异常行为发生的位置、又能实时、高效地识别出正在发生的异常行为。在该方法中，首先，利用2D卷积神经网络检测出视频图像中可疑的异常行为动作，获取检测框；然后，使用检测框截取连续多张图像，并将连续图像发送给3D卷积神经网络以识别遗留包裹、隔栏递物、打架斗殴等异常行为。通过这种方式，可以无需选定ROI区域，就可以对视频中发生的异常行为进行快速检测与识别，从而达到全方位的监控。

图6示出了根据本公开的实施例的基于卷积神经网络的异常行为识别***的示意图。***600可以包括处理器610，例如，数字信号处理器(DSP)。处理器610可以是用于执行本文所描述的过程的不同动作的单个装置或多个装置。***600还可以包括输入/输出(I/O)装置630，用于从其他实体接收信号或者向其他实体发送信号。

此外，***600可以包括存储器620，该存储器620可以具有以下形式：非易失性或易失性存储器，例如，电可擦除可编程只读存储器(EEPROM)、闪存等。存储器620可以存储计算机可读指令，当处理器610执行该计算机可读指令时，该计算机可读指令可以使处理器执行本文所述的动作。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***(例如，一个或多个处理器)使用或者结合指令执行***使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了基于卷积神经网络的异常行为识别方法、装置和***的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机***上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

Claims (10)

1.一种基于卷积神经网络的异常行为识别装置，包括：

异常行为检测模块，被配置为获取待识别的视频，对所述待识别的视频中的当前图像进行检测，利用异常行为检测模型确定所述当前图像中是否存在可疑的异常行为，并且当确定所述当前图像中存在可疑的异常行为时，确定所述可疑的异常行为的类别和针对所述可疑的异常行为的检测框，其中所述检测框覆盖发生所述可疑的异常行为的区域。

2.根据权利要求1所述的异常行为识别装置，其中，

所述异常行为检测模块被进一步配置为使用所述检测框在所述待识别的视频中从所述当前图像开始截取预定数量的连续图像；并且

所述异常行为识别装置还包括：异常行为识别模块，被配置为从所述异常行为检测模块获取所述预定数量的连续图像和所述检测框，利用异常行为识别模型确定所述连续图像中是否存在异常行为，并且当确定所述连续图像中存在异常行为时，确定所述异常行为的类别。

3.根据权利要求2所述的异常行为识别装置，还包括：

接收模块，被配置为接收所述待识别的视频并向所述异常行为检测模块发送所述待识别的视频；以及

输出模块，被配置为从所述异常行为确定模块获取并输出所述可疑的异常行为的类别和所述检测框。

4.根据权利要求3所述的异常行为识别装置，其中，所述输出模块被进一步配置为从所述异常行为识别模块获取并输出所述异常行为的类别和所述检测框。

5.根据权利要求1所述的异常行为识别装置，其中，所述异常行为检测模型是使用异常行为数据集利用2D卷积神经网络来构建的。

6.根据权利要求2所述的异常行为识别装置，其中，所述异常行为识别模型是使用训练数据利用3D卷积神经网络来构建的，其中所述训练数据是利用所构建的异常行为检测模型从视频中截取的连续图像。

7.一种基于卷积神经网络的异常行为识别方法，包括：

由异常行为检测模块获取待识别的视频；

由所述异常行为检测模块对所述待识别的视频中的当前图像进行检测；

由所述异常行为检测模块利用异常行为检测模型确定所述当前图像中是否存在可疑的异常行为；以及

当由所述异常行为检测模块确定所述当前图像中存在可疑的异常行为时，由所述异常行为检测模块确定所述可疑的异常行为的类别和针对所述可疑的异常行为的检测框，其中所述检测框覆盖发生所述可疑的异常行为的区域。

8.根据权利要求7所述的异常行为识别方法，还包括：

由所述异常行为检测模块使用所述检测框在所述待识别的视频中从所述当前图像开始截取预定数量的连续图像；

由异常行为识别模块从所述异常行为检测模块获取所述预定数量的连续图像和所述检测框；

由所述异常行为识别模块利用异常行为识别模型确定所述连续图像中是否存在异常行为；以及

当所述异常行为识别模块确定所述连续图像中存在异常行为时，由所述异常行为识别模块确定所述异常行为的类别。

9.根据权利要求8所述的异常行为识别方法，还包括：

由接收模块接收所述待识别的视频并向所述异常行为检测模块发送所述待识别的视频；以及

由输出模块从所述异常行为确定模块获取并输出所述可疑的异常行为的类别和所述检测框。

10.根据权利要求9所述的异常行为识别方法，还包括：

由所述输出模块从所述异常行为识别模块获取并输出所述异常行为的类别和所述检测框。

Images