CN115424191A

CN115424191A - 异常场景识别方法、装置、电子设备及存储介质

Info

Publication number: CN115424191A
Application number: CN202110610121.8A
Authority: CN
Inventors: 李阳; 沈红星
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Xiongan ICT Co Ltd; China Mobile System Integration Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Xiongan ICT Co Ltd; China Mobile System Integration Co Ltd
Priority date: 2021-06-01
Filing date: 2021-06-01
Publication date: 2022-12-02

Abstract

本发明提供一种异常场景识别方法、装置、电子设备及存储介质，所述方法包括：确定目标图像中的目标行人的末端肢体动能；在所述末端肢体动能超过目标阈值的情况下，将所述目标图像发送至姿态估计网络进行二次筛查。本发明提供的异常场景识别方法、装置、电子设备及存储介质，在智能摄像头使用区域动能算法提供初筛视频，降低云端判断视频数量，提高检测效率和硬件使用率。

Description

异常场景识别方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种异常场景识别方法、装置、电子设备及存储介质。

背景技术

针对公共社会安全防控的问题，在公众聚集场所和人员密集场所借助异常行为分析***可对重点区域多种个体和群体异常行为进行智能化分析研判，有效辅助后台人员对监控场景中出现的异常情况进行判断和处置。

异常行为相关样本采集的难度较大，很大一部分样本是通过网络爬取影视片段获得，影视片段与真实视频监控场景差别非常大，通过这些数据样本训练得到的模型迁移到真实场景面临较大挑战，泛化性和精度会明显下降。

发明内容

本发明提供一种异常场景识别方法、装置、电子设备及存储介质，用以解决现有技术中异常场景识别精度低的技术问题。

本发明提供一种异常场景识别方法，包括：

确定目标图像中的目标行人的末端肢体动能；

在所述末端肢体动能超过目标阈值的情况下，将所述目标图像发送至姿态估计网络进行二次筛查。

可选地，所述确定目标图像中的目标行人的末端肢体动能，包括：

提取所述目标图像中的目标行人；

对所述目标对象进行跟踪；

将目标区域最长边为基准分割为N个尺度的区块，并将目标边缘增加N个区块；

确定目标区域内的每个区块的多尺度方向相对梯度；区块的多尺度方向相对梯度用于表征区块动能；

根据每个区块的多尺度方向相对梯度确定目标行人的末端肢体动能。

可选地，所述将所述目标图像发送至姿态估计网络进行二次筛查，包括：

对所述目标图像进行特征提取，得到特征图；

通过姿态估计网络生成异常行为序列的姿态图；

基于所述特征图和所述姿态图进行二次筛查。

可选地，所述基于所述特征图和所述姿态图进行二次筛查，包括：

将姿态图和特征图发送到解码器进行上采样得到完成姿态迁移的目标人物图像；

通过姿态判别器识别所述目标人物图像中的异常行为。

本发明还提供一种异常场景识别装置，包括：

确定模块，用于确定目标图像中的目标行人的末端肢体动能；

发送模块，用于在所述末端肢体动能超过目标阈值的情况下，将所述目标图像发送至姿态估计网络进行二次筛查。

可选地，所述确定模块包括第一提取子模块、跟踪子模块、分割子模块、第一确定子模块和第二确定子模块；

所述第一提取子模块用于提取所述目标图像中的目标行人；

所述跟踪子模块用于对所述目标对象进行跟踪；

所述分割子模块用于将目标区域最长边为基准分割为N个尺度的区块，并将目标边缘增加N个区块；

所述第一确定子模块用于确定目标区域内的每个区块的多尺度方向相对梯度；区块的多尺度方向相对梯度用于表征区块动能；

所述第二确定子模块用于根据每个区块的多尺度方向相对梯度确定目标行人的末端肢体动能。

可选地，所述发送模块包括第二提取子模块、生成子模块和筛查子模块：

所述第二提取子模块用于对所述目标图像进行特征提取，得到特征图；

所述生成子模块用于通过姿态估计网络生成异常行为序列的姿态图；

所述筛查子模块用于基于所述特征图和所述姿态图进行二次筛查。

可选地，所述筛查子模块包括上采样单元和识别单元；

所述上采样单元用于将姿态图和特征图发送到解码器进行上采样得到完成姿态迁移的目标人物图像；

所述识别单元用于通过姿态判别器识别所述目标人物图像中的异常行为。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述异常场景识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述异常场景识别方法的步骤。

本发明提供的异常场景识别方法、装置、电子设备及存储介质，在智能摄像头使用区域动能算法提供初筛视频，降低云端判断视频数量，提高检测效率和硬件使用率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的异常场景识别方法的流程示意图；

图2是本发明提供的异常场景识别原理示意图之一；

图3是本发明提供的异常场景识别原理示意图之二；

图4是本发明提供的异常场景识别装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

针对公共社会安全防控的问题，在公众聚集场所和人员密集场所借助异常行为分析***可对重点区域多种个体和群体异常行为进行智能化分析研判，有效辅助后台人员对监控场景中出现的异常情况进行判断和处置。打架检测是异常事件分析的难点也是重点。

目前异常行为识别相关的数据集较少，绝大多数算法是基于通用行为识别的数据集KTH、Kinetics、UCF-101等训练得到，图像清晰度较低，样本量较小，缺少现实视频监控场景下的样本。对于物定安防场景异常行为认别精度不高。现在主流的行为识别算法是同时提取rgb语义信息和光流进行融合的双流神经网络、3D卷积神经网络，以及cnn和lstm网络结合的时空网络。深度学习对样本量要求较高，现在数据集难以满足工程化算法应用的要尔，因此如何高效、经济地获取高质量样本是一个热点领域。

同时在城市级别监控场景中。由于网络层数深，且需要结合lstm上下文学习网络。对多路视频同时进行姿态识别监控需要非常大的硬件算力开销，也无法满足实时性要求。因此在算法构建的基础上如何满足应用场景的实时性和低硬件消耗也是算法落地研究的重点。

异常行为相关样本采集的难度较大，很大一部分样本是通过网络爬取影视片段获得，这些视频与真实视频监控场景差别非常大，通过这些数据样本训练得到的模型迁移到真实场景面临较大挑战，泛化性和精度会明显下降。本申请提出基于姿态迁移的方案可以快速生成特定动作的大量样本，降低数据采集和处理的时间和资金成本。现有基于对抗生成网络的样本生成方案生成的样本质量较差，会出现身体部分残缺或多余，同时往往存在模糊，细粒度方面较差。现有的行为识别方法依赖光流法或者三维卷积操作，计算量非常大，对计算设备要求很高，不能用于边缘AI推理的部署。难以满足异常行为实时识别的要求。

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的异常场景识别方法的流程示意图，如图1所示，本申请实施例提供一种异常场景识别方法。该方法包括：

步骤101、确定目标图像中的目标行人的末端肢体动能。

具体地，图2是本发明提供的异常场景识别原理示意图之一，如图2所示，首先在智能摄像头进行区块动能判断初级筛查。

对于采集到的视频监控场景高分辨率的打架异常行为(倒地、打架斗殴等)视频，进行稀疏采样提取关键短片段，然后对于各片段进行均匀采样并将得到的帧组合成异常行为备选序列视频。

在智能摄像头端引入目标区块动能指数检测。即使用多尺度方法分辨行人目标内部和邻接图像划分区块像素波动范围展示的区块内目标的动能大小。方法如下：

1、首先使用目标检测算法提取目标框，然后使用IOU跟踪算法对目标行人进行跟踪。得到同一行人id的前后帧时间序列图像。

2、将目标区域最长边为基准分割为s＝(3、5、7、10)五种尺度区块，将目标边缘增加相同数量区块。如目标区域尺寸为100*200.那么区块尺寸分别为70、40、30、20。并分别在目标边缘增加s个对应尺寸的区块。

3、转换目标图像为HSV图像，使用平均池化对每个区块取平均值。然后根据时间序列，对时间序列上的不同尺度区块进行叠加。对目标区域内的每个区块计算周围8方向梯度。使用方向梯度除整体目标梯度得到多尺度方向相对梯度G_s ^d。将区块相对梯度定义为区块动能。

4、通过正态分布为各个尺度加权。通过调节系数n来决定制度权重占比。将n调节至s＝7尺度影响比例最大时，可以判断目标末端肢体动能。计算公式如下：

在确定目标图像中的目标行人的末端肢体动能之后，设定阈值，当肢体动能超过阈值时判断为有可能发生打架斗殴疑似视频片段。

步骤102、在所述末端肢体动能超过目标阈值的情况下，将所述目标图像发送至姿态估计网络进行二次筛查。

具体地，在末端肢体动能超过目标阈值的情况下，将疑似视频片段中的目标图像发送至云端的姿态估计网络进行二次筛查。

图3是本发明提供的异常场景识别原理示意图之二，如图3所示，通过姿态估计网络生成异常行为序列的姿态估计图作为待迁移的目标姿态序列模板。对于新的人物目标，同样生成姿态估计，然后将人物姿态图片、人物图像以及异常行为姿态模板输入训练得到的姿态迁移对抗生成网络来得到目标人物的异常行为图像序列并合成视频短片作为新目标人物的异常行为视频样本数据。

姿态估计是基于Openpose对人体图像进行18个关键点姿态估计，生成人体和人体关键点的对应数据样本组。基于当前图像、目标人体图像、当前人体姿态和目标姿态图像构建对抗生成网络，可以实现根据姿态图生成逼真人体图像的效果。对抗生成网络包括编码器和解码器模块，编码器由轻量化卷积网络和姿态迁移模块组成，用于图像特征热点图生成及姿态的渐近转换；解码器包括上采样反卷积网络来生成目标姿态图像。而判别器则包括纹理评分判别器和姿态评分判别器来对生成的目标姿态图像和姿态进行一致性判断。判别器由下采样卷积层和残差卷积模块组成。

姿态的迁移这里定义为一个逐渐变化的过程，将人体姿态视为一个状态集合，通过一些中间状态逐渐将原有姿态向目标姿态转移。包括如下子步骤：

首先将对原始图像经由MobileNetV3轻量化卷积网络提取特征图P₀，然后将开始的姿态和最终的姿态图像进行维度叠加得到S₀。

将它们输入姿态迁移模块，这里采用两层的卷积网络，然后对姿态图经过激活函数转化为权重与特征图相乘，得到经姿态指导下的新特征图。新特征图与经过姿态迁移模块的姿态图进行拼接得到新的姿态图。

多个姿态迁移模块不断对姿态图和特征图进行更新，将最终得到的姿态图和特征图送到解码器模块进行上采样操作得到完成姿态迁移的目标人物图像。

最后将生成的目标姿态图像和目标姿态原图像拼接输入纹理判别器，将目标姿态图和生成的目标姿态图像拼接送往姿态判别器进行评分。网络的总的损失函数定义为判别器的损失加上L1正则项。

为了增加样本场景的多样性，这里选取了重点关注的公共场所，如广场、火车站、地铁站、校园等场景，基于图像融合的方法将生成的目标人物与背景融合在一起，采用泊松图像融合算法、多聚焦图像融合等算法。另外，对于人物身体外观的多样性，采用风格迁移GAN网络的方法改变人体的衣物纹理或者实现换衣变换。

对于异常行为识别这里采用cnn-lstm时空网络，结合卷积网络强大的空间特征提取能力以及lstm网络对于时序信息的优秀表达能力。这里将训练视频帧大小调整为224×224分辨率，对于视频片段样本将序列图分别送入MobileNetV3-Small网络，结合了MobileNetV1的深度可分离卷积、MobileNetV2的具有线性瓶颈的逆残差结构和MnasNet的基于squeeze and excitation结构的轻量级注意力模型。将各序列帧获得的特征向量输入lstm单元，lstm单元数设为256。得到最终的预测结果作为异常行为分类的结果。对于一段时间内提取到的片段，取分类结果的众数作为当前行为的分类结果。

在智能摄像头使用区域动能算法提供初筛视频。降低云端判断视频数量，提高检测效率和硬件使用率。基于姿态迁移的方法生成新的异常行为样本数据，可以应对相关数据获取困难的痛点，快速扩充样本数量，减少模型过拟合导致泛化性差的概率。并可以通过定制化行为动作姿态设计，增加样本多样性，使其更接近现实复杂场景的变化，扩展了行为研究的领域。

图4是本发明提供的异常场景识别装置的结构示意图，如图4所示，本申请实施例提供一种异常场景识别装置，该装置包括确定模块401和发送模块402，其中：

确定模块401用于确定目标图像中的目标行人的末端肢体动能；发送模块402用于在所述末端肢体动能超过目标阈值的情况下，将所述目标图像发送至姿态估计网络进行二次筛查。

所述第一提取子模块用于提取所述目标图像中的目标行人；

所述跟踪子模块用于对所述目标对象进行跟踪；

可选地，所述筛查子模块包括上采样单元和识别单元；

本申请实施例提供的异常场景识别装置，可以用于执行上述相应实施例中所述的方法，通过本实施例提供的装置执行上述相应实施例中所述方法的具体步骤与上述相应实施例相同，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行异常场景识别方法，该方法包括：

确定目标图像中的目标行人的末端肢体动能；

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的异常场景识别方法，该方法包括：

确定目标图像中的目标行人的末端肢体动能；

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的异常场景识别方法，该方法包括：

确定目标图像中的目标行人的末端肢体动能；

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种异常场景识别方法，其特征在于，包括：

确定目标图像中的目标行人的末端肢体动能；

2.根据权利要求1所述的异常场景识别方法，其特征在于，所述确定目标图像中的目标行人的末端肢体动能，包括：

提取所述目标图像中的目标行人；

对所述目标对象进行跟踪；

3.根据权利要求1所述的异常场景识别方法，其特征在于，所述将所述目标图像发送至姿态估计网络进行二次筛查，包括：

对所述目标图像进行特征提取，得到特征图；

通过姿态估计网络生成异常行为序列的姿态图；

基于所述特征图和所述姿态图进行二次筛查。

4.根据权利要求3所述的异常场景识别方法，其特征在于，所述基于所述特征图和所述姿态图进行二次筛查，包括：

通过姿态判别器识别所述目标人物图像中的异常行为。

5.一种异常场景识别装置，其特征在于，包括：

6.根据权利要求5所述的异常场景识别装置，其特征在于，所述确定模块包括第一提取子模块、跟踪子模块、分割子模块、第一确定子模块和第二确定子模块；

所述第一提取子模块用于提取所述目标图像中的目标行人；

所述跟踪子模块用于对所述目标对象进行跟踪；

7.根据权利要求5所述的异常场景识别装置，其特征在于，所述发送模块包括第二提取子模块、生成子模块和筛查子模块：

8.根据权利要求7所述的异常场景识别装置，其特征在于，所述筛查子模块包括上采样单元和识别单元；

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述异常场景识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述异常场景识别方法的步骤。