CN112699814B - 暴力行为识别方法、暴力行为识别装置及存储介质 - Google Patents

暴力行为识别方法、暴力行为识别装置及存储介质 Download PDF

Info

Publication number
CN112699814B
CN112699814B CN202011641153.6A CN202011641153A CN112699814B CN 112699814 B CN112699814 B CN 112699814B CN 202011641153 A CN202011641153 A CN 202011641153A CN 112699814 B CN112699814 B CN 112699814B
Authority
CN
China
Prior art keywords
violent behavior
violent
video
network
error value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011641153.6A
Other languages
English (en)
Other versions
CN112699814A (zh
Inventor
白鹏飞
覃元锋
李世晓
周国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202011641153.6A priority Critical patent/CN112699814B/zh
Publication of CN112699814A publication Critical patent/CN112699814A/zh
Application granted granted Critical
Publication of CN112699814B publication Critical patent/CN112699814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种暴力行为识别方法,包括以下步骤:获取待识别的目标数据,目标数据包括原始视频流;对原始视频流进行分解,获得多份视频样本;从每一份视频样本中随机采样一帧作为样本帧数;将相邻的样本帧数进行差分运算,形成时序帧列;将时序帧列输入至已构建的暴力行为识别网络模型中;获取暴力行为识别网络模型根据时序帧列输出的目标行为数据。本申请通过获取原始视频流,输入至暴力行为识别网络模型中,其中暴力行为识别网络模型能够识别是否存在暴力行为。暴力行为识别网络模型在处理原始视频流后输出目标行为数据。当输出的目标行为数据为存在暴力行为时,能够让相关人员获知并及时赶往事发现场制止,避免暴力事件持续恶性发展。

Description

暴力行为识别方法、暴力行为识别装置及存储介质
技术领域
本申请属于暴力行为检测技术领域,尤其涉及一种暴力行为识别方法、暴力行为识别装置及存储介质。
背景技术
校园安全一直以来都是我国热点关注问题之一。在校园里,学生之间因争执而打架或者发生欺凌等现象,不仅会对学生的身体造成伤害,甚至还会留下心理创伤。当发生打架或者欺凌时,老师和安保人员都无法及时发现并制止,并且旁观者一般不敢主动劝架或者通知老师,若任由暴力事件持续恶性发展,很大可能会对身体造成伤害,甚至会对生命造成威胁。但是校园暴力事件存在难以及时发现并制止的问题。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种暴力行为识别方法,能够及时发现暴力事件,有效避免暴力行为持续恶化。
根据本申请的第一方面实施例的暴力行为识别方法,包括以下步骤:获取待识别的目标数据,所述目标数据包括原始视频流;对所述原始视频流进行分解,获得多份视频样本;从每一份所述视频样本中随机采样一帧作为样本帧数;将相邻的所述样本帧数进行差分运算,形成时序帧列;将所述时序帧列输入至已构建的暴力行为识别网络模型中;获取所述暴力行为识别网络模型根据所述时序帧列输出的目标行为数据。
根据本申请实施例的一种暴力行为识别方法,至少具有如下有益效果:本申请先构建一个能够判断原始视频流中是否存在暴力行为的暴力行为识别网络模型,获取原始视频流,对获取到的原始视频流进行分解处理后,形成时序帧列,时序帧列作为暴力行为识别网络模型的输入,输入至暴力行为识别网络模型中,暴力行为识别网络模型在处理原始视频流后输出目标行为数据。当输出的目标行为数据为存在暴力行为时,能够让安保人员或老师等的相关人员获知并及时赶往事发现场制止,避免暴力事件持续恶性发展。
根据本申请的一些实施例,所述暴力行为识别方法还包括:将暴力行为视频和非暴力行为视频作为输入对暴力行为识别网络模型进行训练。
根据本申请的一些实施例,所述将暴力行为视频和非暴力行为视频作为输入对暴力行为识别网络模型进行训练,包括:初始化所述暴力行为识别网络模型的权重参数和偏置项参数;获取所述暴力行为视频和所述非暴力行为视频,并将所述暴力行为视频和所述非暴力行为视频作为数据集;从所述数据集中采样一个所述暴力行为视频或所述非暴力行为视频,并将所述暴力行为视频或所述非暴力行为视频作为本次训练的样本;根据所述样本获取第一误差值;根据所述第一误差值更新每层网络的网络参数以及第二误差值;输入所述数据集的所有所述暴力行为视频和非暴力行为视频,获取训练后的所述权重参数和偏置项参数。
根据本申请的一些实施例,所述获取所述暴力行为视频和所述非暴力行为视频,并将所述暴力行为视频和所述非暴力行为视频作为数据集,包括:对所述暴力行为视频和所述非暴力行为视频分别添加标签值,其中,所述标签值包括第一标签值和第二标签值,将所述暴力行为视频的标签值设为所述第一标签值,将所述非暴力行为视频的标签值设为所述第二标签值。
根据本申请的一些实施例,所述根据所述样本获取第一误差值,包括:对所述样本中的帧数进行随机采样,组成一组关键帧帧列;将所述关键帧帧列中的相邻的帧数之间做差分运算,获取时序变化帧列;将所述时序变化帧列作为所述暴力行为识别网络模型的输入,获取第一参考值;比较所述标签值以及第一参数值,获取所述第一误差值。
根据本申请的一些实施例,所述根据所述第一误差值更新每层网络的网络参数以及第二误差值,包括:将所述第一误差值反馈至上一层网络;上一层网络接收所述第一误差值后,通过梯度下降算法获取本层网络的新的网络参数;根据本层网络的新的所述网络参数与原有的网络参数,获取所述第二误差值,并将所述第二误差值反馈至上一层网络;上一层网络接收所述第二误差值后,通过梯度下降算法获取本层网络的新的网络参数;根据本层网络的新的所述网络参数与原有的网络参数,获取所述第二误差值,并将所述第二误差值反馈至上一层网络。
根据本申请的一些实施例,所述目标行为数据包括暴力行为和非暴力行为。
根据本申请的一些实施例,所述暴力行为识别方法还包括:输出的所述目标行为数据为暴力行为时,发出预警信号并定位事发地点。
根据本申请的第二方面实施例的暴力行为识别装置,包括:至少一个处理器和用于与所述处理器通信连接的存储器;所述存储器存储可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述处理器能够执行根据本申请第一方面实施例所述的暴力行为识别方法。
根据本申请的第三方面实施例的计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行据本申请第一方面实施例所述的暴力行为识别方法。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例的暴力行为识别方法的流程图。
图2为本申请实施例的将暴力行为视频和非暴力行为视频作为输入对暴力行为识别网络模型进行训练的流程图。
图3为本申请实施例的根据样本获取第一误差值的流程图。
图4为本申请实施例的根据第一误差值更新每层网络的网络参数以及第二误差值的流程图。
图5为本申请另一实施例的暴力行为识别方法的流程图。
图6为本申请实施例的暴力行为识别***的示意图。
图7为本申请另一实施例的暴力行为识别***的示意图。
图8为本申请实施例的暴力行为识别装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、外、内等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本申请的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
为了对本申请的技术特征、目的和效果有更加清晰的理解,先对照附图详细说明本申请的具体实施方式。
请参考图1,本申请提供一种暴力行为识别方法,包括以下步骤:
步骤S100,获取待识别的目标数据,目标数据包括原始视频流;
步骤S200,对原始视频流进行分解,获得多份视频样本;
步骤S300,从每一份视频样本中随机采样一帧作为样本帧数;
步骤S400,将相邻的样本帧数进行差分运算,形成时序帧列;
步骤S500,将时序帧列输入至已构建的暴力行为识别网络模型中;
步骤S600,获取暴力行为识别网络模型根据时序帧列输出的目标行为数据。
根据本申请实施例的暴力行为识别方法,先构建一个能够判断原始视频流中是否存在暴力行为的暴力行为识别网络模型,获取原始视频流,对获取到的原始视频流进行分解处理后,形成时序帧列,时序帧列作为暴力行为识别网络模型的输入,输入至暴力行为识别网络模型中,暴力行为识别网络模型在处理原始视频流后输出目标行为数据。当输出的目标行为数据为存在暴力行为时,能够让安保人员或老师等的相关人员获知并及时赶往事发现场制止,避免暴力事件持续恶性发展。
请参考图2,暴力行为识别方法还包括将暴力行为视频和非暴力行为视频作为输入对暴力行为识别网络模型进行训练。通过大量的暴力行为视频和非暴力行为视频对暴力行为识别网络模型进行训练,获得训练后的权重参数和偏置项参数,获得已构建的暴力行为识别网络模型。
请参考图2,将暴力行为视频和非暴力行为视频作为输入对暴力行为识别网络模型进行训练,包括:
步骤S710,初始化暴力行为识别网络模型的权重参数和偏置项参数;
步骤S720,获取暴力行为视频和非暴力行为视频,并将暴力行为视频和非暴力行为视频作为数据集;
步骤S730,从数据集中采样一个暴力行为视频或非暴力行为视频,并将暴力行为视频或非暴力行为视频作为本次训练的样本;
步骤S740,根据样本获取第一误差值;
步骤S750,根据第一误差值更新每层网络的网络参数以及第二误差值;
步骤S760,输入数据集的所有暴力行为视频和非暴力行为视频,获取训练后的权重参数和偏置项参数。
其中,步骤S710,初始化暴力行为识别网络模型的权重参数和偏置项参数,将权重参数和偏置项参数以正态分布的方法进行初始化。数据集中包含大量收集的暴力行为视频和非暴力行为视频,并将数据集中的所有暴力行为视频和非暴力行为视频作为输入,对暴力行为识别网络模型进行训练,获取第一误差值,根据第一误差值反馈至上一层网络,上一层网络接收第一误差值后更新本层网络的网络参数,以及新的网络参数与本层原来的网络参数的误差值(即为第二误差值),将本层获得的第二误差值反馈至再上一层网络,上一层网络获取第二误差值后,更新本层的网络参数并获得第二误差值,继续向上一层网络传输,直至每层网络的网络参数完成更新,本次样本的训练结束。从数据集中选取另一个样本,重复上述步骤,直至数据集内的所有样本均作为输入,对暴力行为识别网络模型进行训练。
步骤S720,获取暴力行为视频和非暴力行为视频,并将暴力行为视频和非暴力行为视频作为数据集,包括:对暴力行为视频和非暴力行为视频分别添加标签值,其中标签值包括第一标签值和第二标签值,将暴力行为视频的标签值设为第一标签值,将非暴力行为视频的标签值设为第二标签值。
请参考图3,步骤S740,根据样本获取第一误差值,包括:
步骤S741,对样本中的帧数进行随机采样,组成一组关键帧帧列;
步骤S742,将关键帧帧列中的相邻的帧数之间做差分运算,获取时序变化帧列;
步骤S743,将时序变化帧列作为暴力行为识别网络模型的输入,获取第一参考值;
步骤S744,比较标签值以及第一参数值,获取第一误差值。
其中,第一参考值的范围为0-1,标签值包括第一标签值和第二标签值,将暴力行为视频的标签值设为第一标签值,将非暴力行为视频的标签值设为第二标签值,其中,第一标签值为1,第二标签值为0。
可以理解的是,步骤S741,对样本中的帧数进行随机采样,组成一组关键帧帧列,从每个暴力行为视频和非暴力行为视频中均进行随机采样,分别得到包含N帧的关键帧帧列,再对一组关键帧帧列中,每相邻的两帧之间做差分运算,得到新的N-1帧时序动作变化帧列,即时序变化帧列,将N-1帧的时序变化帧列作为输入,暴力行为识别网络模型对时序变化帧列进行计算,获得第一参考值,再计算样本对应的标签值与第一参考值之间的误差(即第一误差值),即若输入的样本为暴力行为视频,暴力行为视频对应的标签值为第一标签值,第一标签值为1,即计算第一标签值与第一参考值之间的第一误差值,并将第一误差值反馈上一层网络,利用梯度下降算法更新该层网络的网络参数,并计算本层新的网络参数和本层原来的网络参数之间的误差(即第二误差),并将第二误差反馈至上一层网络,直至更新完整个暴力行为识别网络模型的每一层的网络参数。更新完整个暴力行为识别网络模型的每一层的网络参数后,输入下一个样本,重复前述步骤,更新整个暴力行为识别网络模型的每一层的网络参数。
在步骤S760中,输入数据集的所有暴力行为视频和非暴力行为视频,获取训练后的权重参数和偏置项参数,除了完成数据集中的所有样本的训练外,还会重复训练整个数据集,直至暴力行为识别网络模型的第一参考值与标签值的误差值得到收敛,获取训练后的权重参数和偏置项参数。
可以理解的是,采样后得到N帧关键帧帧列,再对一组关键帧帧列中的每相邻的两帧之间做差分运算,得到新的N-1帧的时序变化帧列,是指每相邻的两帧图像之间,把后一帧图像的像素值减去前一帧图像的像素值,得到两帧图像在时间上的动作变化,再将每相邻两帧之间做差分运算的结果重新组合得到时序变化帧列。
请参考图4,步骤S750,根据第一误差值更新每层网络的网络参数以及第二误差值,包括:
步骤S751,将第一误差值反馈至上一层网络;
步骤S752,上一层网络接收第一误差值后,通过梯度下降算法获取本层网络的新的网络参数;
步骤S753,根据本层网络的新的网络参数与原有的网络参数,获取第二误差值,并将第二误差值反馈至上一层网络;
步骤S754,上一层网络接收第二误差值后,通过梯度下降算法获取本层网络的新的网络参数;
步骤S755,根据本层网络的新的网络参数与原有的网络参数,获取第二误差值,并将第二误差值反馈至上一层网络。
可以理解的是,将N-1帧的时序变化帧列作为输入,暴力行为识别网络模型对时序变化帧列进行计算,获得第一参考值,再计算样本对应的标签值与第一参考值之间的误差(即第一误差值),即若输入的样本为暴力行为视频,暴力行为视频对应的标签值为第一标签值,第一标签值为1,即计算第一标签值与第一参考值之间的第一误差值,并将第一误差值反馈上一层网络,利用梯度下降算法更新该层网络的网络参数,并计算本层新的网络参数和本层原来的网络参数之间的误差(即第二误差),并将第二误差反馈至上一层网络,直至更新完整个暴力行为识别网络模型的每一层的网络参数。更新完整个暴力行为识别网络模型的每一层的网络参数后,输入下一个样本,重复前述步骤,更新整个暴力行为识别网络模型的每一层的网络参数。
暴力行为识别网络模型的判断公式为y=w*x+b,其中,y为暴力行为识别网络模型输出的目标行为数据,w为训练后的权重参数,b为训练后的偏置项参数,x为输入的时序变化帧列。x为输入数据,即N-1帧时序动作变化帧,且x∈R(N-1)*H*W,其中W,H分别为帧的高度和宽度。w,b分别为训练好的暴力行为识别网络模型的权重和偏置项,w,b的形状大小由暴力行为识别网络模型的深度以及每层网络的卷积核大小以及通道数来决定;当暴力行为识别网络模型在训练时,w,b根据反馈不断调整和变化,当暴力行为识别网络模型训练完后,w,b为确定的浮点数,不发生变化,而w,b的具体数值由暴力行为识别网络模型的最终收敛状况来决定。
可以理解的是,请参考图1,步骤S100,获取待识别的目标数据,目标数据包括原始视频流,其中,原始视频流为监控摄像头实时拍摄的画面。在获取监控摄像头实时拍摄的原始视频流后,对原始视频流进行分解并组成时序帧列,对获取的原始视频流进行处理和转化,整合成时序上的动作变化帧组合,形成时序帧列,实际上,时序帧列即时序变化帧列,作为暴力行为识别网络模型的输入,输入至暴力行为识别网络模型中,并输出目标行为数据。具体地,每间隔第一时间从监控摄像头获取实时拍摄的视频,形成原始视频流,采用分段式获取原始视频流,即每间隔第一时间t秒,截取监控摄像头中实时拍摄的视频,截取后,进行步骤S200,在步骤S200中,将原始视频流等分成多份视频样本,从每一份视频样本中随机采样一帧作为样本帧数,即获得一组帧数为N的关键帧帧列。通过随机采样的方式提取样本帧数,能够有效减少冗余度,内存空间占有率以及计算的复杂度,并且有利于增强数据的鲁棒性和泛用性。更具体地,将获取的原始视频流分成n份(即多份视频样本),每份视频样本中包含的帧数为camera_rate*T/n帧,其中,camera_rate为原始视频流的帧率,单位为帧/秒,一般摄像头获取视频的帧率为camera_rate=30fps;T为原始视频流的时间长度,单位为秒;n为视频样本的份数。从每份视频样本中随机采样一帧作为样本帧数(样本帧数为N),组成一组关键帧帧列,对随机采样后的一组关键帧帧列每相邻两帧做差分运算,得到时序上的动作变化,获得动作变化帧,将动作变化帧组合,组合成时序帧列,即时序变化帧列,其中时序变化帧列包含N-1帧,通过时序变化帧列表示本次获取的原始视频流的特征帧列。
可以理解的是,关键帧帧列包含的N帧图像是从原始视频流中采样得到的,每一帧图像的像素代表着真实场景的显示,如果把采样后的N帧图像作为输入,那么暴力行为识别网络模型检测输入是否存在暴力行为是通过图像的原生像素去理解的。而本申请实施例对采样后的N帧图像进行了处理,即对每相邻两帧之间做差分运算,得到两帧图像在时序上的变化(获得动作变化帧),并且组成新的N-1帧时序变化帧列;如果把N-1帧的时序变化帧列作为输入,那么暴力行为识别网络模型是通过动作的时序变换模式去理解输入是否存在暴力行为的。因此,对采样后的N帧关键帧组合经过差分运算后得到的N-1帧时序变化帧列,把输入从像素层次转换到模式层次,而从像素层次转换至模式层次,能够有效防止过分依赖个别像素,提高输出目标行为数据的准确度,保证相关人员能够及时获知暴力事件的发生。同时,能够有效去除背景信息,减少计算复杂度,使得目标行为数据能够及时输出并被获知。
可以理解的是,一组关键帧帧列中包含的帧数为N,每相邻的两帧进行差分运算后得到时序变化帧列,时序变化帧列的帧数为N-1。关键帧帧列包含N帧,即[1,2,3,…,n],然后对这N帧进行每相邻两帧之间做差分运算,得到新的帧列[2-1,3-2,…,n-(n-1)],最后形成的时序帧列是N-1帧。
可以理解的是,暴力行为识别网络模型是一个通过大量暴力行为视频和非暴力行为视频等的数据训练好的神经网络模型,暴力行为识别网络模型采用端到端(end-to-end)的结构,以时序变化帧列作为输入,经过暴力行为识别网络模型计算,得出该输入为暴力行为或非暴力行为,即目标行为数据包括暴力行为和非暴力行为。
请参考图5,暴力行为识别方法还包括:步骤S800,输出的目标行为数据为暴力行为时,发出预警信号并定位事发地点。当输出的目标行为数据为暴力行为时,即当前在校园中存在暴力行为,将会发出预警信号,提醒安保人员或老师等的相关人员目前在校园中存在暴力行为,同时通过回传原始视频流的监控摄像头的位置定位事发地点,使得相关人员能够及时赶往事发地点,避免暴力事件持续恶性发展。
可以理解的是,本申请实施例的暴力行为识别方法除了可以应用于校园中外,还可以应用于街道上,通过街道的监控摄像头实时回传的原始视频流,输入至暴力行为识别网络模型中,判断是否有暴力事件发生,及时得知并阻止,避免暴力事件持续恶性发展。
请参考图6和图7,本申请实施例还提供一种暴力行为识别***,包括数据采集模块、识别模块以及预警模块。
其中,数据采集模块用于获取校园中的监控摄像头实时拍摄的原始视频流,采用分段式获取,每间隔第一时间t秒,截取监控摄像头中实时拍摄的视频,截取后,将原始视频流传送至识别模块。
识别模块包括采样模块、预处理模块以及暴力行为识别网络模型模块,采样模块先接收数据采集模块传送的原始视频流,采样模块先将原始视频流的所有帧分成n份(即多份视频样本),每份视频样本中包含的帧数为camera_rate*T/n帧,从每份视频样本中随机采样一帧作为样本帧数(样本帧数为N),组成一组关键帧帧列,将关键帧帧列传输至预处理模块中,预处理模块用于计算时序上的动作变化,即将关键帧帧列中的每相邻的两帧做差分运算,得到动作变化度,再在时序上组合成包含N-1帧的时序变化帧列,作为暴力行为识别网络模型模块的输入,暴力行为识别网络模型模块用于判断输入的时序变化帧列是否存在暴力行为,判断公式为y=w*x+b,其中,y为暴力行为识别网络模型输出的目标行为数据,w为训练后的权重参数,b为训练后的偏置项参数,x为输入的时序变化帧列。若输出的目标行为数据为暴力行为,即将目标行为数据作为预警信号,并将预警信号和事发地点传输至预警模块中,预警模块用于发出预警信号和事发地点给相关人员。在接收到暴力行为识别网络模型模块发送过来的预警信号后,向安保人员和老师等的相关人员发出预警信号并定位事发地点,使得相关人员能够及时到达事发地点制止暴力行为,预防暴力事件持续恶性发展。
请参考图8,本申请实施例还提供了一种暴力行为识别装置,该暴力行为识别装置可以是任意类型的智能终端,如手机、平板电脑、个人计算机等。
进一步地,暴力行为识别装置包括:一个或多个处理器和用于与处理器通信连接的存储器。其中图8中以一个处理器为例。处理器和存储器可以通过总线或其他方式连接,图8以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本申请实施例中的暴力行为识别装置对应的程序指令。处理器通过运行存储在存储器中的非暂态软件程序以及指令,从而实现上述的暴力行为识别方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储上述暴力行为识别方法的相关数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该暴力行为识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的第三方面,提供了计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,被一个处理器执行,可使得上述一个或多个处理器执行上述暴力行为识别方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明,但是本申请不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (5)

1.一种暴力行为识别方法,其特征在于,包括以下步骤:
获取待识别的目标数据,所述目标数据包括原始视频流;
对所述原始视频流进行分解,获得多份视频样本;
从每一份所述视频样本中随机采样一帧作为样本帧数;
将相邻的所述样本帧数进行差分运算,形成时序帧列;
将所述时序帧列输入至已构建的暴力行为识别网络模型中;
获取所述暴力行为识别网络模型根据所述时序帧列输出的目标行为数据;
所述暴力行为识别方法,还包括:
初始化所述暴力行为识别网络模型的权重参数和偏置项参数;
获取暴力行为视频和非暴力行为视频,并将所述暴力行为视频和所述非暴力行为视频作为数据集;
从所述数据集中采样一个所述暴力行为视频或所述非暴力行为视频,并将所述暴力行为视频或所述非暴力行为视频作为本次训练的样本;
根据所述样本获取第一误差值;
根据所述第一误差值更新每层网络的网络参数以及第二误差值;
输入所述数据集的所有所述暴力行为视频和非暴力行为视频,获取训练后的所述权重参数和偏置项参数;
其中,所述获取所述暴力行为视频和所述非暴力行为视频,并将所述暴力行为视频和所述非暴力行为视频作为数据集,包括:
对所述暴力行为视频和所述非暴力行为视频分别添加标签值,其中,所述标签值包括第一标签值和第二标签值,将所述暴力行为视频的标签值设为所述第一标签值,将所述非暴力行为视频的标签值设为所述第二标签值;
其中,所述根据所述样本获取第一误差值,包括:
对所述样本中的帧数进行随机采样,组成一组关键帧帧列;
将所述关键帧帧列中的相邻的帧数之间做差分运算,获取时序变化帧列;
将所述时序变化帧列作为所述暴力行为识别网络模型的输入,获取第一参考值;
比较所述标签值以及第一参数值,获取所述第一误差值;
其中,所述根据所述第一误差值更新每层网络的网络参数以及第二误差值,包括:
将所述第一误差值反馈至上一层网络;
上一层网络接收所述第一误差值后,通过梯度下降算法获取本层网络的新的网络参数;
根据本层网络的新的所述网络参数与原有的网络参数,获取所述第二误差值,并将所述第二误差值反馈至上一层网络;
上一层网络接收所述第二误差值后,通过梯度下降算法获取本层网络的新的网络参数;
根据本层网络的新的所述网络参数与原有的网络参数,获取所述第二误差值,并将所述第二误差值反馈至上一层网络。
2.如权利要求1所述的暴力行为识别方法,其特征在于,所述目标行为数据包括暴力行为和非暴力行为。
3.如权利要求2所述的暴力行为识别方法,其特征在于,还包括:输出的所述目标行为数据为暴力行为时,发出预警信号并定位事发地点。
4.一种暴力行为识别装置,其特征在于,包括:
至少一个处理器和用于与所述处理器通信连接的存储器;所述存储器存储可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述处理器能够执行如权利要求1-3任一项所述的暴力行为识别方法。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-3任一项所述的暴力行为识别方法。
CN202011641153.6A 2020-12-31 2020-12-31 暴力行为识别方法、暴力行为识别装置及存储介质 Active CN112699814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641153.6A CN112699814B (zh) 2020-12-31 2020-12-31 暴力行为识别方法、暴力行为识别装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641153.6A CN112699814B (zh) 2020-12-31 2020-12-31 暴力行为识别方法、暴力行为识别装置及存储介质

Publications (2)

Publication Number Publication Date
CN112699814A CN112699814A (zh) 2021-04-23
CN112699814B true CN112699814B (zh) 2023-09-12

Family

ID=75514090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641153.6A Active CN112699814B (zh) 2020-12-31 2020-12-31 暴力行为识别方法、暴力行为识别装置及存储介质

Country Status (1)

Country Link
CN (1) CN112699814B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测***及方法
CN110363098A (zh) * 2019-06-24 2019-10-22 深圳市中电数通智慧安全科技股份有限公司 一种暴力行为预警方法、装置、可读存储介质及终端设备
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、***、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960139A (zh) * 2018-07-03 2018-12-07 百度在线网络技术(北京)有限公司 人物行为识别方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测***及方法
CN110363098A (zh) * 2019-06-24 2019-10-22 深圳市中电数通智慧安全科技股份有限公司 一种暴力行为预警方法、装置、可读存储介质及终端设备
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、***、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
嵌入式下公共场所暴力行为视觉检测方法研究;伍冯洁;吴川平;黄文恺;郭中华;;电视技术(第01期);全文 *

Also Published As

Publication number Publication date
CN112699814A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
US10181090B2 (en) Secure and private tracking across multiple cameras
US20190130188A1 (en) Object classification in a video analytics system
CN106791710B (zh) 目标检测方法、装置和电子设备
CN109607031A (zh) 基于无人机全景的智能仓储***及方法
CN107220633A (zh) 一种智能移动执法***及方法
CN105631418A (zh) 一种人数统计的方法和装置
CN113298053B (zh) 多目标无人机追踪识别方法、装置、电子设备及存储介质
CN115004269A (zh) 监视装置、监视方法及程序
CN110111129B (zh) 一种数据分析方法、广告播放设备及存储介质
Musić et al. Gradient compressive sensing for image data reduction in UAV based search and rescue in the wild
CN111126411B (zh) 一种异常行为识别方法及装置
CN112651398A (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
EP3819815A1 (en) Human body recognition method and device, as well as storage medium
CN106842349B (zh) 输电线路防外破检测方法及装置
CN112257546B (zh) 一种事件预警方法、装置、电子设备及存储介质
CN112699814B (zh) 暴力行为识别方法、暴力行为识别装置及存储介质
CN112819889A (zh) 位置信息的确定方法及装置、存储介质、电子装置
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN115937168A (zh) 一种基于机器人的垃圾桶满溢检测方法、装置及机器人
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN112949390B (zh) 一种基于视频质量的事件检测方法、装置
CN113033445A (zh) 基于航拍电力通道影像数据的交叉跨越识别方法
CN114140744A (zh) 基于对象的数量检测方法、装置、电子设备及存储介质
CN113836980A (zh) 人脸识别方法、电子设备以及存储介质
US8811672B2 (en) Image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant