CN113468975A

CN113468975A - 打架行为检测方法及装置

Info

Publication number: CN113468975A
Application number: CN202110642630.9A
Authority: CN
Inventors: 潘国雄; 赵雷; 潘华东; 殷俊
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2021-06-09
Filing date: 2021-06-09
Publication date: 2021-10-01
Anticipated expiration: 2041-06-09
Also published as: CN113468975B

Abstract

本申请公开了一种打架行为检测方法及装置。其中，打架行为检测方法包括：获取待检测的序列图像，并确定序列图像对应的特征热力图；基于特征热力图确定报警区域；对报警区域进行检测，以判断报警区域是否存在打架行为。本申请可以准确高效地确定待检测的序列图像中是否存在打架行为。

Description

打架行为检测方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种打架行为检测方法及装置。

背景技术

行为分析技术在公共安全、智能家居等领域具有广泛应用，应用的场合包括家庭、金融场景、商超场景、公共区域等等。例如，在家庭中可以检测独居老人的摔倒等，在人多的区域可以检测打架斗殴、人群异常聚集、骚乱等情况。

在现有的安全监控***中，大部分都是通过监控人员长时间在监视画面前观察异常，以即时发现异常状况作出反应。然而，这种通过人为的方式进行监测往往不能及时地发现人员的异常行为，比如人员之间出现相互欺压等现象。而且这种人为的监控模式即费时又费力，在大范围的监视***中，势必要聘请足够的监控人员才能同时监控众多监视画面，但过多的人手容易形成资源的浪费，而监视人员也会因为疲惫而发生遗漏重要画面的情况。

发明内容

本申请提供一种打架行为检测方法及装置，以准确高效地确定序列图像中是否存在打架行为。

为达到上述目的，本申请提供一种打架行为检测方法，该方法包括：

获取待检测的序列图像，并确定序列图像对应的特征热力图；

基于特征热力图确定报警区域；

对报警区域进行检测，以判断报警区域是否存在打架行为。

其中，确定序列图像对应的特征热力图的步骤之前包括：利用打架训练样本集对初始神经网络进行训练，以得到第一神经网络；

确定序列图像对应的特征热力图的步骤包括：

将序列图像输入第一神经网络，以得到序列图像的特征热力图。

其中，利用打架训练样本集对初始神经网络进行训练的步骤包括：

对初始神经网络进行裁剪。

其中，初始神经网络的至少部分卷积层之后连接有批量归一化层，对初始神经网络进行裁剪的步骤包括：

基于每个批量归一化层的权重值，确定是否裁剪掉对应的批量归一化层和卷积层，以得到裁剪后的初始神经网络。

其中，利用打架训练样本集对初始神经网络进行训练，以得到第一神经网络的步骤包括：

利用打架训练样本集对初始神经网络进行训练，得到训练后的初始神经网络；

将训练后的初始神经网络中符合预设条件的卷积层的参数全部置为0；

其中，卷积层的卷积核小于或等于第一阈值的参数占比大于第二阈值，即符合预设条件。

其中，初始神经网络包括全连接层，利用打架训练样本集对初始神经网络进行训练，以得到第一神经网络的步骤包括：

用第一卷积层替换全连接层，得到第一神经网络。

其中，第一卷积层的参数权重为全连接层的参数权重。

其中，确定报警区域是否存在打架行为的步骤包括：

将报警区域输入第二神经网络，以确定报警区域是否存在打架行为；

其中，初始神经网络和第二神经网络均为3D卷积神经网络。

其中，基于特征热力图确定报警区域的步骤包括：

将特征热力图中大于置信度阈值的区域作为报警区域。

其中，基于特征热力图确定报警区域的步骤包括：

在特征热力图中大于置信度阈值的区域的数量为多个的情况下，将特征热力图中置信度最大的区域作为报警区域。

其中，确定序列图像对应的特征热力图的步骤之前包括：

对待检测视频中的图片进行跳帧采样，以获得序列图像。

其中，确定报警区域是否存在打架行为的步骤之前包括：

确定报警区域是否有人体；

若有，执行确定报警区域是否存在打架行为的步骤。

为达到上述目的，本申请提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述的方法。

为达到上述目的，本申请提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。

本申请先确定序列图像对应的特征热力图，以便基于特征热力图初步确定报警区域(即打架区域)，然后可以对报警区域进行精确识别，以准确判断报警区域是否存在打架行为，以便准确快速地对序列图像进行打架检测，节省人力资源。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请打架行为检测方法一实施方式的流程示意图；

图2是本申请打架行为检测方法中初始神经网络和第二神经网络的训练方法一实施例的流程示意图；

图3是本申请打架行为检测方法中初始神经网络一实施例的至少部分结构的示意图；

图4是对图3的网络结构裁剪后的示意图；

图5是本申请打架行为检测方法中初始神经网络中卷积层的卷积核的两个示意图；

图6是对图5(b)所示的卷积核处理的结果示意图；

图7是本申请打架行为检测方法中初始神经网络的结构示意图；

图8是本申请打架行为检测方法中第一神经网络的结构示意图；

图9是本申请打架行为检测方法另一实施方式的流程示意图；

图10是本申请电子设备一实施方式的结构示意图；

图11是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

描述和附图说明本申请的原理。因此将了解，本领域的技术人员将能够设计各种布置，尽管本文中未明确地描述或示出所述布置，但其体现了本申请的原理且包括在本申请的范围内。此外，本文中所述的所有例子主要明确地意在用于教学目的，以辅助读者理解本申请的原理及由发明人所提供的概念，从而深化所属领域，且所有例子不应解释为限于此类特定阐述的例子及条件。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。

近年来，随着深度学习技术的不断发展，越来越多的深度学习算法应用于行为分析领域，例如two-stream(双流)方法、3D方法、CNN-LSTM方法以及人体关节点姿态识别等方法，然而基于深度学习的方法只能分析图片中人数较少的情况，当图片中的人数较多时，模型的泛化能力将会大大降低。例如在人多区域中的打架斗殴行为差异会非常大。动作的激烈程度，动作的多样性会因不同打架对象发生较大的变化，即使是同一打架对象，在不同的时间段也会相差很大。而现有的异常行为检测方法在实际应用中不能同时做到实时性和精确度的兼顾，为了提升准确率，许多网络的层数较深，卷积核数量庞大，准确率的提升造成了检测时间大大增加，且需要大型服务器才能完成准确的检测，这对投入使用仍有一定差距。

基于此，本申请提出一种打架行为检测方法，通过特征热力图初步确定出报警区域(即打架区域)，然后再精确确定报警区域是否确实存在打架行为，这样能快速、准确地识别出打架行为，提高打架检测的高效性和准确性。

下面将详细介绍上述打架行为检测方法，其中打架行为检测方法一实施方式的流程示意图具体如图1所示，本实施方式的打架行为检测方法包括以下步骤。需要注意的是，以下编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。

S101：确定所述序列图像对应的特征热力图。

可以先确定所述序列图像对应的特征热力图，以便基于特征热力图初步确定报警区域(即打架区域)，然后可以对报警区域进行精确识别，以准确判断报警区域是否存在打架行为，以便准确快速地对序列图像进行打架检测。

可选地，可将序列图像输入第一神经网络，以得到序列图像的特征热力图。

其中，第一神经网络的种类不受限制，例如可为3D卷积神经网络、CNN神经网络等。

可选地，第一神经网络可以是对初始神经网络进行裁剪等处理而得到的，这样第一神经网络的模型相对较小，使得通过第一神经网络可快速确定报警区域。

可选地，在步骤S101之前，可以对初始神经网络进行训练，以得到第一神经网络，这样在步骤S101中利用第一神经网络确定所述序列图像对应的特征热力图。

具体地，可以基于训练样本集和图2所示的训练过程对初始神经网络进行训练。并且可以按照学习序列图像中是否存在打架行为的方式训练初始神经网络。此外，可以选取不同时间段内的打架视频序列，转化成图片保存并进行预处理，并和不存在打架行为的图像序列组成作为训练样本集。

可选地，可以在对初始神经网络训练过程中，对初始神经网络进行裁剪操作。

其中，初始神经网络可以包括批量归一化(BN,Batch Norm)层，这样在训练过程中可基于每个批量归一化层的权重值对初始神经网络进行裁剪。具体地，初始神经网络的至少部分卷积层之后可连接有批量归一化层，这样在训练过程中基于每个批量归一化层的权重值，确定是否裁剪掉对应的批量归一化层和卷积层，以得到裁剪后的初始神经网络。示例性地，若初始神经网络训练后，图3中的BN层1和BN层4的权重值小于阈值，则将BN层1、卷积层1、BN层4和卷积层4剪裁掉，剪裁后的初始神经网络如图4所示。

可选地，可以先对初始神经网络执行训练，然后对初始神经网络重复执行裁剪——训练，直至初始神经网络收敛、且所有批量归一化层的权重值均符合预设条件。其中，批量归一化层的权重值大于阈值，即符合条件。当然在其他实施例中，批量归一化层的权重值小于阈值，即符合条件。其中，阈值可根据实际情况进行设定，在此不做限制，例如可为0.4或0.6等。

另外，对初始神经网络训练完成后，可以对训练后的初始神经网络进行精简和/或替换等操作，以得到第一神经网络。

其中，在对初始神经网络训练完成后，在确定卷积层符合预设条件时，则将该卷积层的参数全部置为0。若卷积层的卷积核小于或等于第一阈值的参数占比大于第二阈值，则代表该卷积层符合预设条件。例如，假设第一阈值为1，第二阈值为70％，则图5(a)所示的卷积核不符合预设条件；图5(b)所示的卷积核符合预设条件，可以将图5(b)所示的卷积核的参数全部置为0，变为图6所示的卷积核。

若初始神经网络的输出结果为“图像为打架类别”的置信度，则可以在对初始神经网络训练完成后，对初始神经网络的部分层进行替换，使得替换后的初始神经网络的输出结果是特征热力图，这样便于通过图像是否为打架类别的特征对网络进行训练，而且通过简单的替换操作就可将初始神经网络变为输出为特征热力图的网络。具体地，若训练后的初始神经网络包括全连接层，则可以用第一卷积层替换初始神经网络中的全连接层，以便通过替换后的初始神经网络得到序列图像的特征热力图。

例如，若初始神经网络为图7所示的网络，即初始神经网络包括第二卷积层、连接于第二卷积层之后的全局平均池化层以及连接于全局平均池化层之后的全连接层，则可以在对初始神经网络训练完成后，删除全局平均池化层，并用第一卷积层替换全连接层，以得到图8所示的网络，这样通过图8所示的网络就可得到序列图像不同类别的特征热力图。优选地，第一卷积层的参数权重为训练后的初始神经网络中全连接层的参数权重，这样替换后可以不用在对替换后的网络进行训练，节省训练时间，并且通过这种方法可以得到较为准确的特征热力图。

其中，第二卷积层可为3D卷积层。第一卷积层可为1D卷积层。

S102：基于特征热力图确定报警区域。

基于步骤S101确定所述序列图像对应的特征热力图后，可以基于特征热力图确定报警区域。

具体地，可以基于序列图像对应于打架类别的特征热力图确定报警区域。

在一实现方式中，可以将特征热力图中置信度大于第三阈值的像素点进行合并，以得到至少一个互不相连的报警区域。

在另一个实现方式中，可以将特征热力图中置信度大于第三阈值的像素点进行合并，以得到至少一个互不相连的置信度大于第三阈值的区域；接着将多个互不相连的置信度大于第三阈值的区域中置信度最大的区域作为报警区域。

S103：确定报警区域是否存在打架行为。

基于步骤S102确定报警区域后，可以确定报警区域是否确实存在打架行为。

可选地，可以通过第二神经网络确定报警区域是否存在打架行为。

其中，第二神经网络的种类不受限制，例如可为3D卷积神经网络、CNN神经网络等。

优选地，第二神经网络可和初始神经网络均为3D卷积神经网络，以通过串联3D神经网络的方式，使得本申请打架行为检测方法达到了性能和准确率的均衡。

另外，在步骤S103之前，可以对第二神经网络进行训练，这样在步骤S103中利用训练后的第二神经网络确定报警区域是否存在打架行为。

具体地，可以基于训练样本集和图2所示的训练过程对第二神经网络进行训练。此外，第二神经网络和第一神经网络的训练样本集可相同，即可均包含打架图像序列和不存在打架行为的图像序列。

在本实施方式中，先确定所述序列图像对应的特征热力图，以便基于特征热力图初步确定报警区域(即打架区域)，然后可以对报警区域进行精确识别，以准确判断报警区域是否存在打架行为，以便准确快速地对序列图像进行打架检测，节省人力资源。

下面将详细介绍上述打架行为检测方法，其中打架行为检测方法另一实施方式的流程示意图具体如图9所示，本实施方式的打架行为检测方法包括以下步骤。需要注意的是，以下编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。

S201：获取序列图像。

可以通过监控设备获取序列图像。

其中，可通过监控设备获取实时视频数据，将实时视频中的图片进行跳帧采样，以获得序列图像，减少了相邻帧图片间的大量冗余信息。具体地，在采集序列图像的过程中，可以将采集到的至少一帧图像存储在临时空间中。临时空间可总共存储N帧图片序列F，即F＝(fi+1,fi+2,...,fi+N)，当获取到新图片fi+N+1时，删除临时存储空间中fi图片，保存fi+N+1图片，即F＝(fi+2,fi+3,...,fi+N+1)。

S202：确定所述序列图像对应的特征热力图。

S203：基于特征热力图确定报警区域。

S204：确定报警区域是否有人体。

确定报警区域后，可以确定报警区域是否有人体，若有，则证明报警区域有存在打架行为的可能，则进入步骤S205；若没有，则报警区域没有存在打架行为的可能，则返回至步骤S201，以重新获取下一个序列图像。

在一实现方式中，可以在确定报警区域后，将报警区域输入至人体目标检测算法，以确定报警区域是否有人体。

在另一实现方式中，可以对序列图像进行人体检测，并基于人体检测结果确定报警区域是否有人体。

S205：确定报警区域是否存在打架行为。

在报警区域有人体的情况下，可以将序列图像中的报警区域抠处理，以得到报警序列图像，然后将报警序列图像输入至第二神经网络，以确定报警区域是否存在打架行为。

具体地，基于第二神经网络得到报警序列图像属于每个类别的置信度后，可以将置信度最大的类别作为序列图像的所属类别，从而确定报警区域是否存在打架行为。例如，基于第二神经网络确定报警序列图像属于打架类别和未打架类别的置信度分别为79％和21％，则确定报警图像存在打架行为。

可选地，第二神经网络可以利用softmax进行分类。

请参阅图10，图10是本申请电子设备20一实施方式的结构示意图。本申请电子设备20包括处理器22，处理器22用于执行指令以实现上述本申请语音交互方法任一实施方式及任意不冲突的组合所提供的方法。

电子设备20可为手机、笔记本电脑等终端，或者还可以为服务器等。

处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。

电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。

请参阅图11，图11为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本申请上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种打架行为检测方法，其特征在于，所述方法包括：

获取待检测的序列图像，并确定所述序列图像对应的特征热力图；

基于所述特征热力图确定报警区域；

对所述报警区域进行检测，以判断所述报警区域是否存在打架行为。

2.根据权利要求1所述的打架行为检测方法，其特征在于，

所述确定所述序列图像对应的特征热力图的步骤包括：

将所述序列图像输入第一神经网络，以得到所述序列图像的特征热力图。

3.根据权利要求2所述的打架行为检测方法，其特征在于，

所述确定所述序列图像对应的特征热力图的步骤之前包括：利用打架训练样本集，并按照学习序列图像中是否存在打架行为的方式，对初始神经网络进行训练，以得到第一神经网络。

4.根据权利要求3所述的打架行为检测方法，其特征在于，所述初始神经网络包括全连接层，所述对初始神经网络进行训练，以得到第一神经网络的步骤包括：

利用所述打架训练样本集对所述初始神经网络进行训练，得到训练后的初始神经网络；

用第一卷积层替换所述训练后的初始神经网络中的所述全连接层，得到所述第一神经网络。

5.根据权利要求4所述的打架行为检测方法，其特征在于，所述第一卷积层的参数权重为所述全连接层的参数权重。

6.根据权利要求4所述的打架行为检测方法，其特征在于，所述利用所述打架训练样本集对所述初始神经网络进行训练的步骤包括：

对所述初始神经网络进行裁剪。

7.根据权利要求6所述的打架行为检测方法，其特征在于，所述初始神经网络的至少部分卷积层之后连接有批量归一化层，所述对所述初始神经网络进行裁剪的步骤包括：

8.根据权利要求4或6所述的打架行为检测方法，其特征在于，所述利用所述打架训练样本集对初始神经网络进行训练，以得到所述第一神经网络的步骤包括：

将所述训练后的初始神经网络中符合预设条件的卷积层的参数全部置为0；

其中，所述卷积层的卷积核中小于或等于第一阈值的参数占比大于第二阈值，即符合所述预设条件。

9.根据权利要求3-7任一项所述的打架行为检测方法，其特征在于，所述确定所述报警区域是否存在打架行为的步骤包括：

将所述报警区域输入第二神经网络，以判断所述报警区域是否存在打架行为。

10.根据权利要求9所述的打架行为检测方法，其特征在于，所述初始神经网络和所述第二神经网络均为3D卷积神经网络。

11.根据权利要求1所述的打架行为检测方法，其特征在于，所述基于所述特征热力图确定报警区域的步骤包括：

将所述特征热力图中大于置信度阈值的区域作为报警区域。

12.根据权利要求11所述的打架行为检测方法，其特征在于，所述基于所述特征热力图确定报警区域的步骤包括：

在所述特征热力图中大于置信度阈值的区域的数量为多个的情况下，将所述特征热力图中置信度最大的区域作为报警区域。

13.根据权利要求1所述的打架行为检测方法，其特征在于，所述确定所述序列图像对应的特征热力图的步骤之前包括：

对待检测视频中的图片进行跳帧采样，以获得所述序列图像。

14.根据权利要求1所述的打架行为检测方法，其特征在于，所述确定所述报警区域是否存在打架行为的步骤之前包括：

确定所述报警区域是否有人体；

若有，执行所述确定所述报警区域是否存在打架行为的步骤。

15.一种电子设备，其特征在于，所述电子设备包括处理器；所述处理器用于执行指令以实现如权利要求1-14任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有能够实现权利要求1-14中任一项方法的程序文件。