CN117372969B - 一种面向监控场景的异常事件检测方法 - Google Patents

一种面向监控场景的异常事件检测方法 Download PDF

Info

Publication number
CN117372969B
CN117372969B CN202311675550.9A CN202311675550A CN117372969B CN 117372969 B CN117372969 B CN 117372969B CN 202311675550 A CN202311675550 A CN 202311675550A CN 117372969 B CN117372969 B CN 117372969B
Authority
CN
China
Prior art keywords
entity
detected
information
attribute information
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311675550.9A
Other languages
English (en)
Other versions
CN117372969A (zh
Inventor
陈崇雨
张健
董乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMAI Guangzhou Co Ltd
Original Assignee
DMAI Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMAI Guangzhou Co Ltd filed Critical DMAI Guangzhou Co Ltd
Priority to CN202311675550.9A priority Critical patent/CN117372969B/zh
Publication of CN117372969A publication Critical patent/CN117372969A/zh
Application granted granted Critical
Publication of CN117372969B publication Critical patent/CN117372969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向监控场景的异常事件检测方法，包括以下步骤：基于某一监控场景下的历史监控数据获得各个实体的属性信息；将该监控场景拆分为若干区域；基于各个实体的属性信息和所述若干区域获得各类实体的各维度概率分布模型；基于该监控场景下的待检测监控数据获得各个待检测实体的属性信息；基于各个待检测实体的属性信息以及各类实体的各维度概率分布模型获得各个待检测实体的各维度概率值；基于各个待检测实体的各维度概率值计算各个待检测实体的各维度信息量；基于各个待检测实体的各维度信息量判断各个待检测实体是否存在异常。本发明不仅可以降低对标注数据的依赖、扩展可检测异常类别，还可以检测未知异常行为。

Description

一种面向监控场景的异常事件检测方法
技术领域
本发明涉及异常检测技术领域，更具体的说是涉及一种面向监控场景的异常事件检测方法。
背景技术
目前监控场景的异常检测算法多是基于图像处理、模式识别和机器学习等技术，通过分析物体行为和特征来检测和识别异常事件。然而，这些算法在数据依赖、检测类别以及泛化性等方面存在一些问题，限制了其在监控场景异常检测领域的应用和发展。
1.数据依赖：
基于深度学习的异常检测算法通常需要大量经过标注的训练数据，以建立准确的异常模型。然而，获取大规模的标注数据是一项昂贵和耗时的任务。这对于某些场景或特定异常类别可能会面临挑战，限制了算法的应用范围和效果。
2.检测类别和泛化性：
许多异常检测算法在训练阶段仅基于某些特定且已知的异常样本进行建模，其不仅在异常检测类别上受限，还无法对未知的异常行为进行有效检测（这导致算法的泛化性较差）。对于一些复杂、多样化的监控场景，现有异常检测算法无法准确地适应和处理。
因此如何提供一种面向监控场景的异常事件检测方法，其不仅可以降低对标注数据的依赖、扩展可检测异常类别，还可以检测未知异常行为是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明的目的是提供一种面向监控场景的异常事件检测方法。
为了实现上述目的，本发明采用如下技术方案：
一种面向监控场景的异常事件检测方法，包括以下步骤：
S1：基于某一监控场景下的历史监控数据获得各个实体的属性信息；
S2：将该监控场景拆分为若干区域；
S3：基于各个实体的属性信息和所述若干区域获得各类实体的各维度概率分布模型；
S4：基于该监控场景下的待检测监控数据获得各个待检测实体的属性信息；
S5：基于各个待检测实体的属性信息以及各类实体的各维度概率分布模型获得各个待检测实体的各维度概率值；
S6：基于各个待检测实体的各维度概率值计算各个待检测实体的各维度信息量；
S7：基于各个待检测实体的各维度信息量判断各个待检测实体是否存在异常。
优选的，S1进一步包括：
基于目标检测算法获得历史监控数据中各个实体的位置属性信息和类别属性信息；
和/或基于轨迹跟踪算法获取历史监控数据中各个实体的速度属性信息；和/或基于实例分割算法获得历史监控数据中各个实体的mask图属性信息；
优选的，S3进一步包括：
各类实体的各维度概率分布模型包括位置概率分布模型、速度概率分布模型、mask图概率分布模型、方向跳转概率分布模型、包含关系概率分布模型和包含关系跳转概率分布模型中的一个或多个。
优选的，S3进一步包括：
基于各个实体的类别属性信息和混合高斯模型对各个实体的位置属性信息进行建模，获得各类实体的位置概率分布模型；
基于各个实体的类别属性信息和高斯模型对各个实体的速度属性信息进行建模，获得各类实体的速度概率分布模型；
基于各个实体的类别属性信息和高斯模型对各个实体的mask图属性信息进行建模，获得各类实体的mask图概率分布模型；
基于各个实体的位置属性信息获得各个实体的方向信息，基于各个实体的方向信息统计获得各类实体的方向跳转概率分布模型；
基于各个实体的位置属性信息、类别属性信息和所述若干区域统计获得各类实体的包含关系概率分布模型；
基于各个实体的位置属性信息、类别属性信息和所述若干区域统计获得各类实体的包含关系跳转概率分布模型。
优选的，S5进一步包括：
将各个待检测实体的位置属性信息输入到其所属类别的位置概率分布模型获得各个待检测实体的位置概率值；
将各个待检测实体的速度属性信息输入到其所属类别的速度概率分布模型获得各个待检测实体的速度概率值；
将各个待检测实体的mask图属性相关信息输入到其所属类别的mask图概率分布模型获得各个待检测实体的mask图概率值；
获取各个待检测实体的方向信息，并输入到其所属类别的方向跳转概率分布模型获得各个待检测实体的方向跳转概率值；
获取各个待检测实体的包含关系信息，并输入到其所属类别的包含关系概率分布模型获得各个待检测实体的包含关系概率值；其中，所述包含关系概率值表示待检测实体属于某一区域的概率值；
获取各个待检测实体的包含关系跳转信息，并输入到其所属类别的包含关系跳转概率分布模型获得各个待检测实体的包含关系跳转概率值；其中，所述包含关系跳转概率值表示待检测实体从某一区域跳转到另一区域的概率值；
优选的，S6进一步包括：
其中，表示待检测实体的像素位置，/>表示待检测实体的位置概率值，表示待检测实体的位置信息量；/>表示待检测实体的速度，/>表示待检测实体的速度概率值，/>表示待检测实体的速度信息量；/>表示待检测实体在区域/>出现的概率值，表示待检测实体的包含关系信息量；/>表示待检测实体从区域/>到区域/>的概率值，即待检测实体的包含关系跳转概率值，/>表示待检测实体的包含关系跳转信息量；/>表示待检测实体从方向/>跳转到方向/>的概率值，即待检测实体的方向跳转概率值，/>表示待检测实体的方向跳转信息量；/>表示待检测实体的mask图概率值，/>表示检测实体的mask图信息量。
优选的，基于各个实体的位置属性信息获得各个实体的邻近关系信息；
基于各个实体的邻近关系信息统计获得邻近关系概率分布模型；
基于各个待检测实体的位置属性信息获得各个待检测实体的各个邻近关系信息；
将各个待检测实体的各个邻近关系信息输入到邻近关系概率分布模型，获得各个待检测实体的各个邻近关系概率；
基于各个待检测实体的各个邻近关系概率计算各个待检测实体的各个邻近关系概率信息量；
；
其中，表示第i类实体，/>表示第/>类实体，/>；/>表示第/>类实体/>和第/>类实体/>的邻近关系概率。
优选的，S7进一步包括：
分别计算每一个待检测实体的各维度信息量总和，若各维度信息量总和大于信息量总和阈值，则待检测实体判定为异常；
优选的，分别计算每一个待检测实体的轨迹信息量密度I，若轨迹信息量密度I大于轨迹信息量密度阈值，则待检测实体判定为异常；
其中，，/>表示某一帧中待检测实体的信息量总和。
优选的，S7进一步包括：
基于各个待检测实体的各维度信息量计算获得场景信息量密度L，若场景信息量密度L大于场景信息量密度阈值，则该监控场景存在异常；
；
其中，m表示该监控场景下待检测实体的数量，表示第m个待检测实体的信息量总和。
优选的，S2进一步包括：采用AOG图建模的方式将该监控场景拆分为若干区域。
经由上述的技术方案可知，与现有技术相比，本发明公开了一种面向监控场景的异常事件检测方法，其可以获得以下有益技术效果：
1、本发明不需要对训练数据（即历史监控数据）进行单独标注，即本发明并不依赖大规模标注数据，可以减少数据标注的成本；
2、本发明通过计算实体的信息量来判断是否异常，其并不像异常检测算法那样限定检测某些特定异常类别，本发明可以检测更多的异常类别。
3、本发明通过计算实体的信息量来判断是否异常，即使并不常见的异常行为也可以因为其信息量大于正常数据的信息量而被检测出来。
4、本发明的目标检测算法、轨迹跟踪算法和实例分割算法作为通用模块本身并不依赖固定监控场景，因此本发明能够快速迁移到新的监控场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的整体方法流程图。
图2为本发明实施例中交通场景图；
图3为本发明实施例中待检测车辆示意图；
图4为发明实施例中车辆位置概率分布模型图；
图5为发明实施例中车辆包含关系概率分布模型图；
图6为发明实施例中车辆包含关系跳转概率分布模型；
图7为本发明实施例中的构建的ST-AOG模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明可以应用于任何需要检测异常事件的监控场景：例如交通监控场景、校园监控场场景...
下面以交通监控场景为例对本发明保护的技术方案进行说明。
如图1所示，本发明实施例公开了一种面向交通场景的异常事件检测方法，包括以下步骤：
S1：基于某一交通场景下的历史监控数据获得各个实体的属性信息；
在某一实施例中，所述属性信息包括：位置属性信息、类别属性信息、速度属性信息、mask图属性信息等；所述实体包括人、汽车和自行车等；本发明根据具体交通场景为每一个人、每一辆汽车和每一辆自行车分别获取上述属性信息的一种或多种。
在某一实施例中：
基于目标检测算法（Yolov5）获得历史监控数据中各个实体的位置属性信息和类别属性信息。通过高效的目标检测算法，可以准确地标定每个实体的位置，并将其与背景区分开来。
基于轨迹跟踪算法(Deep Sort)获取历史监控数据中各个实体的速度属性信息；轨迹跟踪算法在时间维度上对实体进行追踪，即将连续帧之间同一实体的运动轨迹进行关联和跟踪。通过对实体的运动状态进行建模和预测，获得实体的速度属性信息。
基于实例分割算法(SOLOv2)获得历史监控数据中各个实体的mask图属性信息；实例分割算法用于对实体进行像素级别的分割，生成实体的mask图，即将实体从图像中准确地分割出来。通过实例分割算法，我们可以获得每个实体的精确轮廓和形状信息。
S2：将该交通场景拆分为若干区域；
在某一实施例中，采用AOG（AND-OR Graph的简称，表示与或图）建模的方式将该交通场景拆分为若干区域。
具体的：假设该交通场景主要包括人行道、车行道、停车道、建筑物等5个区域。每一种区域为一个AND节点，该交通场景就可以拆分为进行描述。每种区域上有运动的实体，每个实体可在不同区域上运动，每个实体包含属性信息，用以描述实体特征。实体属性信息可以包括：ID、位置、面积、速度、物体类型、mask等信息。实例的数量上限为该视角下所能容纳物体的总和N，比如设数量上限N=20。
图7为给5个区域构建的ST-AOG（时空与或图）模型；
S3：基于各个实体的属性信息和所述若干区域获得各类实体的各维度概率分布模型；
在某一实施例中，各类实体的各维度概率分布模型包括位置概率分布模型、速度概率分布模型、mask图概率分布模型、方向跳转概率分布模型、包含关系概率分布模型和包含关系跳转概率分布模型中的一个或多个。
其中，各类实体包括：人、汽车和自行车，即本发明根据具体交通场景为人、汽车和自行车分别构建上述概率分布模型中的一种或多种。
在某一实施例中：
基于各个实体的类别属性信息和混合高斯模型对各个实体的位置属性信息进行建模，获得各类实体的位置概率分布模型；
基于各个实体的类别属性信息和高斯模型对各个实体的速度属性信息进行建模，获得各类实体的速度概率分布模型；
基于各个实体的类别属性信息和高斯模型对各个实体的mask图属性信息进行建模，获得各类实体的mask图概率分布模型；通过统计历史监控数据各个实体mask图的分布情况，我们可以了解各类实体在图像中的面积和颜色分布特征，可进行外观异常的检测。
需要说明的是：构建mask图概率分布模型的具体步骤如下：
1、通过实例分割算法获取各个实体在每一帧图片中的mask图；
2、计算各个实体中各个相邻两帧mask图的相似性，比如计算相邻两帧mask图的欧式距离；
3、基于各个实体的类别属性信息获得各类实体的mask图相似性；
4、基于高斯模型对各类实体的mask图相似性进行建模，即获得各类实体的mask图概率分布模型。
基于各个实体的位置属性信息获得各个实体的方向信息，基于各个实体的方向信息统计获得各类实体的方向跳转概率分布模型；
需要说明的是：方向信息指的是实体运动的方向，所述各个实体的方向信息基于各个实体的位置属性信息获得；
具体的：方向的计算是当前时刻的坐标位置减去之前时刻的坐标位置，以此判断运动的方向。
基于各个实体的位置属性信息、类别属性信息和所述若干区域（即根据构建的ST-AOG模型）统计获得各类实体的包含关系概率分布模型；
基于各个实体的位置属性信息、类别属性信息和所述若干区域（即根据构建的ST-AOG模型）统计获得各类实体的包含关系跳转概率分布模型。
S4：基于该交通场景下的待检测监控数据获得各个待检测实体的属性信息；
在某一实施例中：
基于目标检测算法（Yolov5）获得待检测监控数据中各个待检测实体的位置属性信息和类别属性信息。
基于轨迹跟踪算法(Deep Sort)获取待检测监控数据中各个待检测实体的速度属性信息；
基于实例分割算法(SOLOv2)获得待检测监控数据中各个待检测实体的mask图属性信息；
S5：基于各个待检测实体的属性信息以及各类实体的各维度概率分布模型获得各个待检测实体的各维度概率值；
在某一实施例中：
将各个待检测实体的位置属性信息输入到其所属类别的位置概率分布模型获得各个待检测实体的位置概率值；
将各个待检测实体的速度属性信息输入到其所属类别的速度概率分布模型获得各个待检测实体的速度概率值；
将各个待检测实体的mask图属性相关信息输入到其所属类别的mask图概率分布模型获得各个待检测实体的mask图概率值；
需要说明的是：所述待检测实体的mask图属性相关信息为待检测实体前后两帧中mask图的相似度值（比如欧氏距离）。
获取各个待检测实体的方向信息，并输入到其所属类别的方向跳转概率分布模型获得各个待检测实体的方向跳转概率值；
需要说明的是：方向信息指的是实体运动的方向，所述各个待检测实体的方向信息基于各个待检测实体的位置属性信息获得；
具体的：方向的计算是当前时刻的坐标位置减去之前时刻的坐标位置，以此判断运动的方向。
获取各个待检测实体的包含关系信息（基于待检测实体当前帧的位置属性信息确定待检测实体所属区域），并输入到其所属类别的包含关系概率分布模型获得各个待检测实体的包含关系概率值；其中，所述包含关系概率值表示待检测实体属于某一区域的概率值；
获取各个待检测实体的包含关系跳转信息（基于待检测实体上一帧和当前帧的位置属性信息确定待检测实体的区域跳转信息，所述区域跳转表示从某一区域跳转到另一区域），并输入到其所属类别的包含关系跳转概率分布模型获得各个待检测实体的包含关系跳转概率值；其中，所述包含关系跳转概率值表示待检测实体从某一区域跳转到另一区域的概率值；
S6：基于各个待检测实体的各维度概率值计算各个待检测实体的各维度信息量；
在某一实施例中，S6进一步包括:
其中，表示待检测实体的像素位置，/>表示待检测实体的位置概率值，/>表示待检测实体的位置信息量；/>表示待检测实体的速度，/>表示待检测实体的速度概率值，/>表示待检测实体的速度信息量；/>表示待检测实体在区域/>出现的概率值，/>表示待检测实体的包含关系信息量；/>表示待检测实体从区域/>到区域/>的概率值，即待检测实体的包含关系跳转概率值，/>表示待检测实体的包含关系跳转信息量；/>表示待检测实体从方向/>跳转到方向/>的概率值，即待检测实体的方向跳转概率值，/>表示待检测实体的方向跳转信息量；/>表示待检测实体的mask图概率值，/>表示检测实体的mask图信息量。
在某一实施例中：
基于各个实体的位置属性信息获得各个实体的邻近关系信息；
基于各个实体的邻近关系信息统计获得邻近关系概率分布模型；
需要说明的是：邻近的定义为：在一段时间t1内，实体1与实体2的像素距离d小于（在t1这段时间内始终小于）设定阈值d1，满足上述时间和空间条件的即为一次邻近关系。
邻近关系概率分布模型具体获取方法为：
假设数据集包括类别1、类别2、、、类别N；
S1、统计类别1和类别1的邻近数量、统计类别1和类别2邻近的数量...统计类别1和类别N邻近数量;
统计类别2与类别3的邻近数量…统计类别2与类别N的邻近数量;
...
统计类别N-1与类别N的邻近数量;
统计类别N与类别N的邻近数量。
S2、计算类别X与类别Y的邻近概率，类别X与类别Y的邻近概率=（类别X与类别Y的邻近数量）/（步骤1中所有的邻近数量），其中，/>；
假如一个数据集中有3个实体，分别为人O1(类别1）, 人O2（类别1）, 车O3（类别2）。根据计算：O1与O2邻近，O1与O3邻近，O2与O3邻近。统计获得：所有的邻近数量为3、类别1和类别1的邻近数量为2、类别1和类别2的邻近数量为1。
因此：类别1和类别1的邻近概率（即人人邻近概率）为1/3，则类别1和类别2的邻近概率（人车邻近概率）为2/3。
基于各个待检测实体的位置属性信息获得各个待检测实体的各个邻近关系信息；
将各个待检测实体的各个邻近关系信息输入到邻近关系概率分布模型，获得各个待检测实体的各个邻近关系概率；
具体的：一个待检测实体可能对应多个邻近关系概率，以待检测实体A为例，输入待检测实体A和另一个待检测实体B的类别和连续t1时间内的位置信息，计算这两个实体是否邻近。如果满足一次邻近关系，就查询所述邻近关系概率模型，获得这两个待检测实体的邻近关系概率值。至此，可以获得待检测实体A的一个邻近关系概率。
还以待检测实体A为例，输入待检测实体A和另一个待检测实体C的类别和连续t1时间内的位置信息，计算这两个实体是否邻近。如果满足一次邻近关系，就查询所述邻近关系概率模型，获得这两个待检测实体的邻近关系概率值。至此，可以获得待检测实体A的另一个邻近关系概率。
基于各个待检测实体的各个邻近关系概率计算各个待检测实体的各个邻近关系概率信息量；
；
其中，表示第i类实体，/>表示第/>类实体，/>；/>表示第/>类实体/>和第/>类实体/>的邻近关系概率，/>包括人和人之间的邻近关系概率，人和汽车之间的邻近关系概率以及汽车和汽车之间的邻近概率等等。
S7：基于各个待检测实体的各维度信息量判断各个待检测实体是否存在异常。
在某一实施例中，S7进一步包括：
分别计算每一个待检测实体的各维度信息量总和，若各维度信息量总和大于信息量总和阈值，则待检测实体判定为异常；
优选的，分别计算每一个待检测实体的轨迹信息量密度I，若轨迹信息量密度I大于轨迹信息量密度阈值，则待检测实体判定为异常；
其中，，/>表示某一帧中待检测实体的信息量总和。
在某一实施例中，S7进一步包括：
基于各个待检测实体的各维度信息量计算获得场景信息量密度L，若场景信息量密度L大于场景信息量密度阈值，则该交通场景存在异常；
；
其中，m表示该交通场景下待检测实体的数量，表示第m个待检测实体的信息量总和。
在某一实施例中，S1进一步包括：
基于目标检测算法获得历史监控数据中各个实体的位置属性信息和类别属性信息；
和/或基于轨迹跟踪算法获取历史监控数据中各个实体的速度属性信息；和/或基于实例分割算法获得历史监控数据中各个实体的mask图属性信息；
下面结合某一具体交通场景对本发明技术方案进行说明：
如图2所述，该场景为Street Scene数据集的交通场景，为获得图3中红框内汽车的总信息量采用以下步骤：
1）基于目标检测算法获得Street Scene数据集中各个汽车的位置属性信息。
2）将该交通场景拆分为A1、A2、A3、A4、A5、A6、A7、A8、A9、A10(分别表示左人行道、右人行道、左机动车行道、右机动车行道、左自行车道、右自行车道、左停车道、右停车道、灌木丛和其他区域)十个AND节点,并构建ST-AOG（时空与或图）模型。
3）对Street Scene数据集中各个汽车的位置属性进行混合高斯模型建模，获得汽车位置概率分布模型（如图4所示）；
基于ST-AOG（时空与或图）模型统计各个汽车在各个区域出现的概率，获得汽车包含关系概率模型（如图5所示）；
基于ST-AOG（时空与或图）模型统计各个汽车从一个区域跳转到另一个区域的概率，获得汽车包含关系跳转概率模型（如图6所示）；
4）基于目标检测算法获得红框中汽车的位置属性信息，并基于图4的汽车位置概率分布模型获得红框中汽车的位置概率；
基于红框中汽车当前帧的位置属性信息确定其所属区域：由图2可知该汽车位于左机动车道，通过图5的汽车包含关系概率模型可以获得其包含关系概率值；
基于红框中汽车当前帧的位置属性信息和上一帧的位置属性信息确定其由哪个区域跳转到哪个区域（在本实施例中，上一帧和当前帧该汽车均位于左机动车道），然后根据图6的汽车包含关系跳转概率模型获得红框中汽车的包含关系跳转值；
5）计算红框中汽车的位置信息量、包含关系信息量/>和包含关系跳转信息量：
；
其中，表示红框中汽车的像素位置；
；
；
6）计算红框中汽车的总信息量H:
；
7）选择一个合理的阈值作为信息量总和阈值。同时也可通过对测试数据的评估，搜索出测试数据中AUC值最高时对应的信息量总和作为信息量总和阈值/>。
8）若,则表示红框中汽车存在异常。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种面向监控场景的异常事件检测方法，其特征在于，包括以下步骤：
S1：基于某一监控场景下的历史监控数据获得各个实体的属性信息；
所述属性信息包括：位置属性信息、类别属性信息、速度属性信息、mask图属性信息中的一个或多个；
S2：将该监控场景拆分为若干区域；
S3：基于各个实体的属性信息和所述若干区域获得各类实体的各维度概率分布模型；
各类实体的各维度概率分布模型包括位置概率分布模型、速度概率分布模型、mask图概率分布模型、方向跳转概率分布模型、包含关系概率分布模型和包含关系跳转概率分布模型中的一个或多个；
S4：基于该监控场景下的待检测监控数据获得各个待检测实体的属性信息；
S5：基于各个待检测实体的属性信息以及各类实体的各维度概率分布模型获得各个待检测实体的各维度概率值；
S6：基于各个待检测实体的各维度概率值计算各个待检测实体的各维度信息量；
S7：基于各个待检测实体的各维度信息量判断各个待检测实体是否存在异常。
2.根据权利要求1所述的面向监控场景的异常事件检测方法，其特征在于，S1进一步包括：
基于目标检测算法获得历史监控数据中各个实体的位置属性信息和类别属性信息；
和/或基于轨迹跟踪算法获取历史监控数据中各个实体的速度属性信息；
和/或基于轨迹跟踪算法获得历史监控数据中各个实体的mask图属性信息。
3.根据权利要求2所述的面向监控场景的异常事件检测方法，其特征在于，S3进一步包括：
基于各个实体的类别属性信息和混合高斯模型对各个实体的位置属性信息进行建模，获得各类实体的位置概率分布模型；
基于各个实体的类别属性信息和高斯模型对各个实体的速度属性信息进行建模，获得各类实体的速度概率分布模型；
基于各个实体的类别属性信息和高斯模型对各个实体的mask图属性信息进行建模，获得各类实体的mask图概率分布模型；
基于各个实体的位置属性信息获得各个实体的方向信息，基于各个实体的方向信息统计获得各类实体的方向跳转概率分布模型；
基于各个实体的位置属性信息、类别属性信息和所述若干区域统计获得各类实体的包含关系概率分布模型；
基于各个实体的位置属性信息、类别属性信息和所述若干区域统计获得各类实体的包含关系跳转概率分布模型。
4.根据权利要求3所述的面向监控场景的异常事件检测方法，其特征在于，S5进一步包括：
将各个待检测实体的位置属性信息输入到其所属类别的位置概率分布模型获得各个待检测实体的位置概率值；
将各个待检测实体的速度属性信息输入到其所属类别的速度概率分布模型获得各个待检测实体的速度概率值；
将各个待检测实体的mask图属性相关信息输入到其所属类别的mask图概率分布模型获得各个待检测实体的mask图概率值；
获取各个待检测实体的方向信息，并输入到其所属类别的方向跳转概率分布模型获得各个待检测实体的方向跳转概率值；
获取各个待检测实体的包含关系信息，并输入到其所属类别的包含关系概率分布模型获得各个待检测实体的包含关系概率值；其中，所述包含关系概率值表示待检测实体属于某一区域的概率值；
获取各个待检测实体的包含关系跳转信息，并输入到其所属类别的包含关系跳转概率分布模型获得各个待检测实体的包含关系跳转概率值；其中，所述包含关系跳转概率值表示待检测实体从某一区域跳转到另一区域的概率值。
5.根据权利要求４所述的面向监控场景的异常事件检测方法，其特征在于，S6进一步包括：
h1＝-log2P(x，y)；
h2＝-log2P(v)；
h3＝-∑log2P(ci)；
h4＝-Σlog2P(cj|ci)；
h5＝-Σlog2P(ej|ei)；
h6＝-log2Pmask；
其中，(x，y)表示待检测实体的像素位置，P(x，y)表示待检测实体的位置概率值，h1表示待检测实体的位置信息量；v表示待检测实体的速度，P(v)表示待检测实体的速度概率值，h2表示待检测实体的速度信息量；P(ci)表示待检测实体在区域ci出现的概率值，h3表示待检测实体的包含关系信息量；P(cj|ci)表示待检测实体从区域ci到区域cj的概率值，即待检测实体的包含关系跳转概率值，h4表示待检测实体的包含关系跳转信息量；P(ej|ei)表示待检测实体从方向ei跳转到方向ej的概率值，即待检测实体的方向跳转概率值，h5表示待检测实体的方向跳转信息量；Pmask表示待检测实体的mask图概率值，h6表示待检测实体的mask图信息量。
6.根据权利要求2或5所述的面向监控场景的异常事件检测方法，其特征在于，进一步包括：
基于各个实体的位置属性信息获得各个实体的邻近关系信息；
基于各个实体的邻近关系信息统计获得邻近关系概率分布模型；
基于各个待检测实体的位置属性信息获得各个待检测实体的各个邻近关系信息；
将各个待检测实体的各个邻近关系信息输入到邻近关系概率分布模型，获得各个待检测实体的各个邻近关系概率；
基于各个待检测实体的各个邻近关系概率计算各个待检测实体的各个邻近关系概率信息量h7；
h7＝-log P(mj，mi)；
其中，mi表示第i类实体，mj表示第j类实体，i＝j或i≠j；P(mj，mi)表示第i类实体mi和第j类实体mj的邻近关系概率。
7.根据权利要求1所述的面向监控场景的异常事件检测方法，其特征在于，S7进一步包括：
分别计算每一个待检测实体的各维度信息量总和，若各维度信息量总和大于信息量总和阈值，则待检测实体判定为异常。
8.根据权利要求1或7所述的面向监控场景的异常事件检测方法，其特征在于；
分别计算每一个待检测实体的轨迹信息量密度I，若轨迹信息量密度I大于轨迹信息量密度阈值，则待检测实体判定为异常；
其中，H(t)表示某一帧中待检测实体的信息量总和。
9.根据权利要求1或7所述的面向监控场景的异常事件检测方法，其特征在于，S7进一步包括：
基于各个待检测实体的各维度信息量计算获得场景信息量密度L，若场景信息量密度L大于场景信息量密度阈值，则该监控场景存在异常；
其中，m表示该监控场景下待检测实体的数量，Hm表示第m个待检测实体的信息量总和。
CN202311675550.9A 2023-12-08 2023-12-08 一种面向监控场景的异常事件检测方法 Active CN117372969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311675550.9A CN117372969B (zh) 2023-12-08 2023-12-08 一种面向监控场景的异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311675550.9A CN117372969B (zh) 2023-12-08 2023-12-08 一种面向监控场景的异常事件检测方法

Publications (2)

Publication Number Publication Date
CN117372969A CN117372969A (zh) 2024-01-09
CN117372969B true CN117372969B (zh) 2024-05-10

Family

ID=89404520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311675550.9A Active CN117372969B (zh) 2023-12-08 2023-12-08 一种面向监控场景的异常事件检测方法

Country Status (1)

Country Link
CN (1) CN117372969B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877124A (zh) * 2024-02-22 2024-04-12 暗物质(北京)智能科技有限公司 一种人员行为异常的识别方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108688A (zh) * 2017-12-18 2018-06-01 青岛联合创智科技有限公司 一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法
CN109643485A (zh) * 2016-12-30 2019-04-16 同济大学 一种城市道路交通异常检测方法
CN111368650A (zh) * 2020-02-18 2020-07-03 北京交通大学 一种基于轨迹数据的人群拥挤行为识别方法
CN112508100A (zh) * 2020-12-07 2021-03-16 国网浙江省电力有限公司双创中心 一种智慧社区公共设备的运行状态监控方法及装置
CN114663710A (zh) * 2022-04-25 2022-06-24 电信科学技术第五研究所有限公司 轨迹识别方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8892484B2 (en) * 2012-09-28 2014-11-18 Sphere Of Influence, Inc. System and method for predicting events

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643485A (zh) * 2016-12-30 2019-04-16 同济大学 一种城市道路交通异常检测方法
CN108108688A (zh) * 2017-12-18 2018-06-01 青岛联合创智科技有限公司 一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法
CN111368650A (zh) * 2020-02-18 2020-07-03 北京交通大学 一种基于轨迹数据的人群拥挤行为识别方法
CN112508100A (zh) * 2020-12-07 2021-03-16 国网浙江省电力有限公司双创中心 一种智慧社区公共设备的运行状态监控方法及装置
CN114663710A (zh) * 2022-04-25 2022-06-24 电信科学技术第五研究所有限公司 轨迹识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117372969A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
Chen et al. Real time object detection, tracking, and distance and motion estimation based on deep learning: Application to smart mobility
CN111652912B (zh) 车辆计数方法和***、数据处理设备及智能拍摄设备
Li et al. Traffic light recognition for complex scene with fusion detections
Lin et al. A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO
Mallikarjuna et al. Traffic data collection under mixed traffic conditions using video image processing
CN111554105B (zh) 一种复杂交通路口的智能流量识别与统计方法
Shirazi et al. Vision-based turning movement monitoring: count, speed & waiting time estimation
CN107730903A (zh) 基于深度卷积神经网络的违章停车和抛锚车视觉检测***
CN117372969B (zh) 一种面向监控场景的异常事件检测方法
Wang et al. Probabilistic inference for occluded and multiview on-road vehicle detection
CN107315998A (zh) 基于车道线的车辆种类划分方法和***
CN112818935B (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及***
Chaudhary et al. Video‐based road traffic monitoring and prediction using dynamic Bayesian networks
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及***
Philipp et al. Automated 3d object reference generation for the evaluation of autonomous vehicle perception
Ashraf et al. HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation
Delavarian et al. Multi‐camera multiple vehicle tracking in urban intersections based on multilayer graphs
Grigoropoulos et al. Detection and classification of bicyclist group behavior for automated vehicle applications
CN114999183B (zh) 一种交通路口车流量检测方法
CN109063675A (zh) 车流密度计算方法、***、终端及计算机可读存储介质
Dey et al. Co-Optimizing Sensing and Deep Machine Learning in Automotive Cyber-Physical Systems
Gilroy et al. Replacing the human driver: An objective benchmark for occluded pedestrian detection
Sun et al. Intelligent traffic accident detection system using surveillance video
Akbar et al. Crowd counting using region convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant