CN117037045B - 基于融合聚类与深度学习的异常检测*** - Google Patents
基于融合聚类与深度学习的异常检测*** Download PDFInfo
- Publication number
- CN117037045B CN117037045B CN202311292727.7A CN202311292727A CN117037045B CN 117037045 B CN117037045 B CN 117037045B CN 202311292727 A CN202311292727 A CN 202311292727A CN 117037045 B CN117037045 B CN 117037045B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- object list
- filtering
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 title claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 62
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000012216 screening Methods 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于融合聚类与深度学习的异常检测***,包括:目标检测模块,设置为间隔获取监测图像,检测目标对象并输出第一目标对象列表;过滤模块,设置为对第一目标对象列表中的元素进行特征过滤,输出第二目标对象列表;跟踪模块,设置为对第二目标对象列表中的元素进行跟踪,输出不同时间段的跟踪对象列表;合框模块,设置为根据预设的合框规则对跟踪对象列表中的若干元素进行组合,输出合框对象列表;上报模块,设置为间隔上报合框对象。本发明实现了对城市监测环境中复杂场景的组合目标的检测,可以检测出目标间的关系,识别出特定的组合目标,提高了对环境的监测和理解能力,提高监测的准确率,并可以减少误报率,提高检测效果。
Description
技术领域
本发明涉及智慧城市管理技术领域,尤其涉及一种基于融合聚类与深度学习的异常检测***。
背景技术
随着计算能力的提升和数据集规模的扩大,基于深度学习的目标检测技术已经能够实现对图像及视频中目标的检测和识别。当前的目标检测算法如YOLO、SSD等能够实现实时的多目标检测。但是,当目标之间存在遮挡或重叠时,这些算法往往难以识别。另外,针对特定目标行为模式的理解也是一个难点。在智慧城市建设等领域,利用深度学习技术对监控视频流中环境感知,可以感知到用户关注的对象的位置、大小等特征。虽在识别单一目标方面,深度学习表现出色,但对于复杂组合对象的感知尚存在挑战。例如:对于倾倒污水的人员、聚集的人群、拉横幅的人员等复杂场景,深度学习技术的应用受到限制。
为实现对复杂监测场景的理解,需要一种能够分析目标间关系的技术。将目标进行组合和分析,可以实现对特定行为模式的检测。因此,设计一种能够实现对组合目标检测的监测***,对于提高对复杂场景的监测水平具有重要意义。
发明内容
为了解决上述技术问题,本发明提供了一种异常检测***,旨在弥补深度学习技术在感知组合性对象方面的不足,本发明采用了一种综合性策略,将深度学习技术与聚类技术相结合,以增强对复杂组合对象的感知能力。
本发明的技术方案包括:
基于融合聚类与深度学习的异常检测***,包括:
目标检测模块,设置为间隔获取监测图像,检测目标对象并输出第一目标对象列表;
过滤模块,设置为对所述第一目标对象列表中的元素进行特征过滤,输出满足指定特征的第二目标对象列表;
跟踪模块,设置为对所述第二目标对象列表中的元素进行跟踪,输出不同时间段的跟踪对象列表;
合框模块,设置为根据预设的合框规则对所述跟踪对象列表中的若干元素进行组合,输出合框对象列表;
上报模块,设置为间隔上报所述合框对象列表中的合框对象。
在一些较优的实施例中,所述过滤模块包括属性过滤单元和位置过滤单元;
所述属性过滤单元设置为按照设定的属性参数对所述第一目标对象列表进行过滤,筛选出满足属性的目标对象列表;
所述位置过滤单元设置为按照设定的位置参数,对满足属性的目标对象列表进行过滤,筛选出满足位置属性的第二目标列表。
在一些较优的实施例中,所述属性参数包括:标签组、目标大小和目标置信度阈值;
所述位置参数包括:检测区域、屏蔽区域、反置标志和目标对象在监测图像中的位置坐标信息。
在一些较优的实施例中,所述跟踪模块包括目标跟踪单元和时间过滤单元;
所述目标跟踪单元设置为对第二目标对象列表中的元素进行跟踪,检测不同时间段图像中的同一目标,作为跟踪对象;
所述时间过滤单元设置为对所述跟踪对象的出现时间进行过滤,筛选出满足预设出现时长的跟踪对象输出跟踪对象列表。
在一些较优的实施例中,所述预设的合框规则包括:
规则一:判断各元素检测矩形框在x、y方向上的距离是否均为负值,若是,则判定此类元素进行组合;若否,则进行规则二的判断;
规则二:判断各元素检测矩形框在x、y方向上的最大非负距离值,是否小于参与判断的元素检测矩形框最短边的指定倍数,若是,则判定此类元素进行组合。
在一些较优的实施例中,所述预设的合框规则还包括:
规则三:若元素检测矩形框未不满足所述规则一和规则二的要求,则将该类元素作为新组输出。
有益效果
本发明实现了对城市监测环境中复杂场景的组合目标的检测,通过引入聚类技术,可以检测出目标间的关系,识别出特定的组合目标,如人群聚集、倾倒垃圾等复杂情况。提高了对环境的监测和理解能力,提高监测的准确率,并可以减少误报率,提高检测效果。
附图说明
图1为本发明一种较优实施例中的基于融合聚类与深度学习的异常检测***结构示意图;
图2为本发明一种较优实施例中的合框规则示意图;
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步阐述。在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1所示,本实施例公开了一种基于融合聚类与深度学习的异常检测***,其特征在于,包括:
目标检测模块,设置为间隔获取监测图像,检测目标对象并输出第一目标对象列表。
其中,所述目标对象为用户感兴趣的对象。目标检测模块通过接入图像设备获取实时的监测视频流,并根据预设的间隔时间抓取监测图像。通过预置的基于深度学习的目标检测模型识别并输出第一目标对象列表。在具体实现中,目标检测模块可以调用图形处理单元以加速计算,并可以采用多个目标检测模型进行集成,从而提高检测精度。
目标检测模型可以采用针对特定场景预训练的模型,如针对城市道路场景训练的yolov7等模型,以提高检测性能。目标检测模块输出的第一目标对象列表可以记录每一个目标出现的时间戳,以备后续处理模块使用。
目标检测是本***的第一关键处理环节,其检测性能直接影响后续处理的效果。采用成熟的深度学习目标检测模型,并针对具体场景进行优化,可以最大限度地提高目标检测精度,为后续处理奠定基础。
进一步的,所述目标对象列表是指用户关注的目标对象集合,单个目标对象的包括但不限于以下信息:数据类型、图像唯一标识、目标标签、目标位置矩形、目标置信度、图像时间。
过滤模块,设置为对所述第一目标对象列表中的元素进行特征过滤,输出满足指定特征的第二目标对象列表。
过滤模块的作用是根据预设的条件筛选出需要关注的目标对象。所述筛选条件的设定取决于应用场景、需求和技术人员的经验。过滤模块可以采用规则引擎根据预设规则进行筛选。
例如,可以预设目标大小的范围,筛除过大或过小的检测结果;可以指定关注的目标类别,过滤掉无关类别;可以设置置信度阈值,去除置信度过低的结果。过滤模块还可以结合位置信息进行筛选,例如只保留或排除特定区域的目标。
过滤模块的设定需要考虑具体应用场景和需求,同时结合目标检测性能、环境复杂程度等因素,由技术人员根据经验确定最佳的参数。过滤过程应平衡漏检率和误检率,既减少无效目标,也避免过滤掉重要信息。
过滤模块输出符合条件的目标对象信息作为第二目标对象列表,供后续模块进行处理。过滤是提高***精确度的关键环节之一。
在一些较优的实施例中,考虑从目标对象的属性和位置两方面来进行过滤。具体的,所述过滤模块包括属性过滤单元和位置过滤单元;
所述属性过滤单元设置为按照设定的属性参数对所述第一目标对象列表进行过滤,筛选出满足属性的目标对象列表。所述属性是指表征目标对象的基本属性,在一些较优的实施例中,所述属性参数包括:
标签组:预设需要关注的目标标签,过滤掉非关注标签的检测结果;
目标大小:设置目标的大小阈值,过滤过大或过小的检测结果。目标大小可以由其边界框长宽表示;
目标置信度阈值:设置检测结果的置信度下限,过滤出置信度大于阈值的结果。
应当理解的是,本领域技术人员也可以根据现场的实际需要设定其他属性作为过滤条件,如颜色、纹理等,本发明不作进一步限定。
属性过滤单元按照设定的标签组、目标大小、目标置信度阈值筛选出需要的目标,组成满足属性的目标对象列表。在此本发明给出一种属性过滤示例流程:
1、目标大小的过滤:关注最小目标[50,50](指最小目标的宽度为50,高度为50),最大目标为[500,500],检测到的目标大小为[objWidth,objHeight],则该目标需满足:
50
2、目标置信度:预先设置好目标置信度阈值th,检测到目标的置信度为objTh,则保留的目标须满足:
objTh>=th;
3、目标标签组:设定关注的目标标签组labels,其检测到的目标存在标签类别label,其标签类别需属于预先设置的目标标签组:
label∈labels。
属性过滤可以有效去除大量无关目标,同时保证结果子集的准确性,是提升***效率和效果的关键处理环节。后续模块可以基于滤过属性的高质量结果进行处理。
所述位置过滤单元设置为按照设定的位置参数,对满足属性的目标对象列表进行过滤,筛选出满足位置属性的第二目标列表。所述位置参数是指目标对象在图像中的位置特征,在一些较优的实施例中,所述位置参数包括:
检测区域area:预设需要关注的检测区域,过滤掉区域外的结果;
屏蔽区域shieldArea:预设的不关注区域,过滤掉区域内的结果;
反置标志:当标志为真时,检测区域和屏蔽区域的过滤逻辑对调;
目标对象在监测图像中的位置坐标信息:目标的边界框坐标(x,y)。
位置过滤单元按照设定的位置参数筛选出符合位置规则的目标,组成满足位置的第二目标对象列表。在此本发明给出一种位置过滤示例流程:
1、当反置标志为假时,其位置信息需满足:
(x,y)∈area&&(x,y)∉shieldArea;
2、当反置标志为真时,其位置信息需满足:
!((x,y)∈area&&(x,y)∉shieldArea)。
位置信息与环境场景和摄像头位置相关,位置过滤可以有效减小检测范围,避免无效计算。同时也可以方便设置对特定区域的关注或排除。
跟踪模块,设置为对所述第二目标对象列表中的元素进行跟踪,输出不同时间段的跟踪对象列表。该模块用于跟踪第二目标对象在不同时间段内的移动,并赋予每个目标唯一的跟踪ID,以建立起时间维度的数据关联。具体可采用以下方法实现:
1、卡尔曼滤波器:利用目标的运动模型,结合测量值,估计目标的当前状态。测量与预测结果的误差协方差矩阵反映目标位置确定性。
2、深度学习跟踪:采用Siamese网络等算法提取目标特征,在不同画面中进行特征匹配实现跟踪。
3、多个***集成:集成卡尔曼滤波器、深度学习等多个***,进行跟踪结果的聚合与解析。
4、数据关联:跟踪过程中,持续为每个目标分配唯一ID,记录目标的历史轨迹信息。
跟踪模块一方面为后续行为分析等处理建立数据基础,另一方面也是为了去除目标检测对象中一些误检目标。在一些较优的实施例中,所述跟踪对象列表具体包括但不限于以下内容:数据类型、图像唯一标识、目标标签、目标位置矩形、目标置信度、图像时间戳、持续时长、首次出现时间戳、历史位置列表、跟踪ID标识。
在一些较优的实施例中,考虑从目标对象跟踪和时间过滤两方面进行跟踪。具体的,所述跟踪模块包括目标跟踪单元和时间过滤单元;
所述目标跟踪单元设置为对第二目标对象列表中的元素进行跟踪,检测不同时间段图像中的同一目标,作为跟踪对象。具体的,采用卡尔曼滤波器估计目标的状态和误差协方差来进行跟踪,将不同时间段的画面目标赋予目标ID,感知不同时间段画面中同一对象。在此给出一种实现目标跟踪的方案示例:
1、输入为第二目标对象列表,包含各个时间点检测到的目标信息。
2、对每个新时间点的目标信息,提取目标的外观特征,如边界框大小、颜色histogram等。
3、在之前时间点跟踪的目标集合中,计算当前目标与每个历史目标的特征相似度。
4、如果存在高相似度的历史目标,则判定为同一目标,继承该历史目标的ID进行跟踪。
5、如果无高相似目标,则将当前目标设定为新的跟踪ID。
6、持续跟踪和更新每个目标,实时预测目标的当前状态。
7、输出包含目标ID和轨迹信息的跟踪对象列表。
所述时间过滤单元设置为对所述跟踪对象的出现时间进行过滤,筛选出满足预设出现时长的跟踪对象输出跟踪对象列表。所述时间过滤单元的作用在于根据目标的出现时间长短进行过滤,去除误检或遮挡引起的短暂目标。
在此给出一种较优的实现方案:
1、输入为目标跟踪单元输出的包含目标ID和出现时间信息的跟踪对象列表。
2、设置目标出现时间阈值,例如目标需要出现超过n秒。
3、对每个跟踪对象,计算其持续出现的时间长度。
4、将出现时间小于阈值的目标过滤掉。
5、输出满足出现时间阈值的跟踪对象构成最后跟踪结果。
时间过滤可以有效去除目标检测中因遮挡、环境变化等导致的短时间误检目标,确保输出跟踪目标的真实性和连续性。
合框模块,设置为根据预设的合框规则对所述跟踪对象列表中的若干元素进行组合,输出合框对象列表。其中,所述合框对象即为关注的组合对象。合框对象列表包括:数据类型、合框后对象、用于合框的跟踪对象列表;其中合框后对象元素等同于目标对象元素,用于合框的跟踪对象包含元素等同于跟踪对象中元素。所述合框规则的设定是本发明所涉及领域的技术重点,其作用在于将筛选出的目标对象组合为特定的组合,从而反映出检测对象的实时状态,其具体的设定需要考虑:
应用场景:不同场景关注的组合目标不同,如人群聚集、倾倒垃圾等;
算法性能:目标检测和跟踪的性能限制了合框的复杂程度;
环境复杂度:过于复杂的环境需要精简合框规则;
实时性需求:规则复杂度会影响处理速度。
一些常用的合框规则如下:
1、判断目标边界框是否有重叠,重叠度超过阈值则判定为需要合并的目标组。
2、计算目标框中心点距离,小于阈值的目标可以判定为组合目标。
3、统计目标的运动方向、速度等信息,方向、速度接近的可以判断为组合目标。
4、自定义特定规则,如定义人和车的特定组合表示盗窃等。
但上述常用规存在以下技术问题:
过于简单化,没有结合目标的语义信息进行规则设计,例如目标的类别、属性等;规则设计没有考虑不同目标间的关系,例如运动方向、速度的相关性分析不够全面;规则之间缺乏逻辑关联;规则难以应对更复杂的组合目标识别,如人群聚集、倾倒垃圾等场景;规则设置较为静态,缺乏根据场景动态调整的能力。
基于上述缺点,在本发明的一种较优实施例中,如图2所示,提供了一种融合了聚类技术的优势,实现智能化和动态化的组合目标识别的合框规则,具体包括:
规则一:判断各元素检测矩形框在x、y方向上的距离是否均为负值,若是,则判定此类元素进行组合;若否,则进行规则二的判断;
规则二:判断各元素检测矩形框在x、y方向上的最大非负距离值,是否小于参与判断的元素检测矩形框最短边的指定倍数,若是,则判定此类元素进行组合。
以倾倒污水的监测为例,上述合框规则对象指同时满足存在人提桶状态、人端盆状态中任意一个对象和桶倒水状态、盆倒水状态中任意一个;且所选对象符合聚类距离小于等于指定值,即小于参与判断的元素检测矩形框最短边的指定倍数。应当理解的是,此处的指定倍数一个经验参数,其作用在于控制匹配的距离阈值。例如指定倍数可取值为2,即距离阈值为两框最短边的2倍。
在另一些较优的实施例中,所述预设的合框规则还包括:
规则三:若元素检测矩形框未不满足所述规则一和规则二的要求,则将该类元素作为新组输出。
本实施例所提供的较优合框规则可以处理更复杂的组合目标识别,并可动态调整。
在这种情况下,可以将该独立目标框判定为一个新的组合目标,作为新的组输出。
这种实现方式可以延伸组合目标的范围,对于场景中出现的新目标进行及时捕捉和上报。同时也避免将误检或无关目标错误合并到已有的组合目标中。
上报模块,设置为间隔上报所述合框对象列表中的合框对象。应当理解的是,所述上报模块的作用在于将业务方(用户)感兴趣的合框对象,组装为需要的告警信息,并按周期间隔上报。具体的,告警消息主要包括:事件唯一标识、任务信息、合框的对象列表、图像时间戳、图像、图像信息(宽度、高度)等。下面给出一种间隔上报的实现方法:
预设间隔上报周期alarmInterval,当前告警时间currAlarmTime与上次告警时间PreAlarmTime需满足下列条件,才会再次上报:
currAlarmTime-PreAlarmTime>alarmInterval。
通过定期上报,可以有效减轻***负载,同时也使异常事件通知更清晰。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.基于融合聚类与深度学习的异常检测***,其特征在于,包括:
目标检测模块,设置为间隔获取监测图像,检测目标对象并输出第一目标对象列表;所述目标对象为城市监测环境中复杂场景的组合目标对象;
过滤模块,设置为对所述第一目标对象列表中的元素进行特征过滤,输出满足指定特征的第二目标对象列表;
跟踪模块,设置为对所述第二目标对象列表中的元素进行跟踪,输出不同时间段的跟踪对象列表;
合框模块,设置为根据预设的合框规则对所述跟踪对象列表中的若干元素进行组合,输出合框对象列表;所述合框对象为用户关注的组合对象;合框对象列表包括:数据类型、合框后对象、用于合框的跟踪对象列表;
上报模块,设置为间隔上报所述合框对象列表中的合框对象;
所述过滤模块包括属性过滤单元和位置过滤单元;
所述属性过滤单元设置为按照设定的属性参数对所述第一目标对象列表进行过滤,筛选出满足属性的目标对象列表;
所述位置过滤单元设置为按照设定的位置参数,对满足属性的目标对象列表进行过滤,筛选出满足位置属性的第二目标列表;
所述预设的合框规则包括:
规则一:判断各元素检测矩形框在x、y方向上的距离是否均为负值,若是,则判定此类元素进行组合;若否,则进行规则二的判断;
规则二:判断各元素检测矩形框在x、y方向上的最大非负距离值,是否小于参与判断的元素检测矩形框最短边的指定倍数,若是,则判定此类元素进行组合。
2.如权利要求1所述的基于融合聚类与深度学习的异常检测***,其特征在于:
所述属性参数包括:标签组、目标大小和目标置信度阈值;
所述位置参数包括:检测区域、屏蔽区域、反置标志和目标对象在监测图像中的位置坐标信息。
3.如权利要求1所述的基于融合聚类与深度学习的异常检测***,其特征在于,所述跟踪模块包括目标跟踪单元和时间过滤单元;
所述目标跟踪单元设置为对第二目标对象列表中的元素进行跟踪,检测不同时间段图像中的同一目标,作为跟踪对象;
所述时间过滤单元设置为对所述跟踪对象的出现时间进行过滤,筛选出满足预设出现时长的跟踪对象输出跟踪对象列表。
4.如权利要求1所述的基于融合聚类与深度学习的异常检测***,其特征在于,所述预设的合框规则还包括:
规则三:若元素检测矩形框未不满足所述规则一和规则二的要求,则将该类元素作为新组输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311292727.7A CN117037045B (zh) | 2023-10-08 | 2023-10-08 | 基于融合聚类与深度学习的异常检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311292727.7A CN117037045B (zh) | 2023-10-08 | 2023-10-08 | 基于融合聚类与深度学习的异常检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117037045A CN117037045A (zh) | 2023-11-10 |
CN117037045B true CN117037045B (zh) | 2024-04-26 |
Family
ID=88641537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311292727.7A Active CN117037045B (zh) | 2023-10-08 | 2023-10-08 | 基于融合聚类与深度学习的异常检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117037045B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102267517B1 (ko) * | 2020-07-22 | 2021-06-22 | 재단법인 서울특별시 서울기술연구원 | 도로 안개감지 장치 및 그 감지 방법 |
CN113011331A (zh) * | 2021-03-19 | 2021-06-22 | 吉林大学 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
CN113192105A (zh) * | 2021-04-16 | 2021-07-30 | 嘉联支付有限公司 | 一种室内多人追踪及姿态估量的方法及装置 |
CN114998819A (zh) * | 2022-04-24 | 2022-09-02 | 上海悠络客电子科技股份有限公司 | 多维度检测跟踪的客流统计方法、装置、设备和介质 |
CN115082834A (zh) * | 2022-07-20 | 2022-09-20 | 成都考拉悠然科技有限公司 | 一种基于深度学习工程车冒黑烟监测方法及*** |
CN115115978A (zh) * | 2022-06-13 | 2022-09-27 | 中国第一汽车股份有限公司 | 对象的识别方法、装置、存储介质和处理器 |
CN115497056A (zh) * | 2022-11-21 | 2022-12-20 | 南京华苏科技有限公司 | 基于深度学习的区域内遗失物品检测方法 |
CN115797402A (zh) * | 2022-11-22 | 2023-03-14 | 上海东方传媒技术有限公司 | 一种多目标追踪纠错方法 |
CN115841649A (zh) * | 2022-11-21 | 2023-03-24 | 哈尔滨工程大学 | 一种用于城市复杂场景的多尺度人数统计方法 |
CN116703962A (zh) * | 2023-05-11 | 2023-09-05 | 宇通客车股份有限公司 | 一种多目标跟踪方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11804076B2 (en) * | 2019-10-02 | 2023-10-31 | University Of Iowa Research Foundation | System and method for the autonomous identification of physical abuse |
WO2021173939A1 (en) * | 2020-02-28 | 2021-09-02 | Opera Solutions Usa, Llc | Video analytics to detect animal abuse |
-
2023
- 2023-10-08 CN CN202311292727.7A patent/CN117037045B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102267517B1 (ko) * | 2020-07-22 | 2021-06-22 | 재단법인 서울특별시 서울기술연구원 | 도로 안개감지 장치 및 그 감지 방법 |
CN113011331A (zh) * | 2021-03-19 | 2021-06-22 | 吉林大学 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
CN113192105A (zh) * | 2021-04-16 | 2021-07-30 | 嘉联支付有限公司 | 一种室内多人追踪及姿态估量的方法及装置 |
CN114998819A (zh) * | 2022-04-24 | 2022-09-02 | 上海悠络客电子科技股份有限公司 | 多维度检测跟踪的客流统计方法、装置、设备和介质 |
CN115115978A (zh) * | 2022-06-13 | 2022-09-27 | 中国第一汽车股份有限公司 | 对象的识别方法、装置、存储介质和处理器 |
CN115082834A (zh) * | 2022-07-20 | 2022-09-20 | 成都考拉悠然科技有限公司 | 一种基于深度学习工程车冒黑烟监测方法及*** |
CN115497056A (zh) * | 2022-11-21 | 2022-12-20 | 南京华苏科技有限公司 | 基于深度学习的区域内遗失物品检测方法 |
CN115841649A (zh) * | 2022-11-21 | 2023-03-24 | 哈尔滨工程大学 | 一种用于城市复杂场景的多尺度人数统计方法 |
CN115797402A (zh) * | 2022-11-22 | 2023-03-14 | 上海东方传媒技术有限公司 | 一种多目标追踪纠错方法 |
CN116703962A (zh) * | 2023-05-11 | 2023-09-05 | 宇通客车股份有限公司 | 一种多目标跟踪方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN117037045A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和*** | |
CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置 | |
CN110689054B (zh) | 一种工人违规行为监测方法 | |
KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
CN111259868B (zh) | 基于卷积神经网络的逆行车辆检测方法、***及介质 | |
CN104881643B (zh) | 一种快速的遗留物检测方法及*** | |
KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
CN112132071A (zh) | 识别交通拥堵的处理方法、装置、设备及存储介质 | |
CN111325048A (zh) | 一种人员聚集检测方法和装置 | |
CN111489380B (zh) | 一种目标物体轨迹分析方法 | |
CN110674703A (zh) | 一种智能监控中的视频绊线报警计数方法与流程 | |
CN110636281A (zh) | 一种基于背景模型的监控摄像头遮挡实时检测方法 | |
CN102789645B (zh) | 一种用于周界防范的多目标快速跟踪方法 | |
CN113920585A (zh) | 行为识别方法及装置、设备和存储介质 | |
CN113963438A (zh) | 行为识别方法及装置、设备和存储介质 | |
Iyer et al. | Adaptive real time traffic prediction using deep neural networks | |
CN113963316A (zh) | 目标事件的确定方法、装置、存储介质及电子装置 | |
CN109711313A (zh) | 一种识别向河道内倾倒污水的实时视频监控算法 | |
Wang et al. | Vision-based highway traffic accident detection | |
CN117037045B (zh) | 基于融合聚类与深度学习的异常检测*** | |
CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
Tiwari et al. | Real time traffic management using machine learning | |
CN116597501A (zh) | 视频分析算法及边缘设备 | |
CN115471872A (zh) | 散发广告的行为检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |