CN112733690B - 一种高空抛物检测方法、装置及电子设备 - Google Patents
一种高空抛物检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112733690B CN112733690B CN202011644379.1A CN202011644379A CN112733690B CN 112733690 B CN112733690 B CN 112733690B CN 202011644379 A CN202011644379 A CN 202011644379A CN 112733690 B CN112733690 B CN 112733690B
- Authority
- CN
- China
- Prior art keywords
- moving object
- target moving
- target
- altitude parabolic
- altitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 claims abstract description 60
- 238000012544 monitoring process Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种高空抛物检测方法、装置及电子设备,其中,方法,用于高空抛物检测设备,所述高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,包括如下步骤:获取监控视频数据;当所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对所述目标运动物体进行跟踪,得到所述目标运动物体的运动特征;根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体。通过实施本发明,能够排除高空漂浮物体或者鸟类飞行时对高空抛物检测的影响,提高了高空抛物检测的准确率。
Description
技术领域
本发明涉及人工智能领域,具体涉及一种高空抛物检测方法、装置及电子设备。
背景技术
随着社会的发展及城市的建设,越来越多的高楼遍布在城市的各个角落,随之而来的高空抛物现象频发,造成的人员伤亡事件也屡见不鲜,高空抛物事件的发生可能造成人员伤亡,而高空抛物很难及时追踪抛物源头。
相关技术中,对高空抛物的检测大多是对运动物体进行检测,当检测到运动物体在画面中出现的初始帧高度满足高空抛物高度时,则判定为高空抛物物体,这种方法虽然检测速度较快,但对于在视频内移动的非高空抛物物体容易造成误判,比如,飞鸟、漂浮的垃圾袋等等,导致高空抛物检测的准确率低。
发明内容
有鉴于此,本发明实施例提供了一种高空抛物检测方法、装置及电子设备,以解决现有技术中高空抛物检测的准确率低的缺陷。
根据第一方面,本发明实施例提供一种高空抛物检测方法,用于高空抛物检测设备,所述高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,包括如下步骤:获取监控视频数据;当所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对所述目标运动物体进行跟踪,得到所述目标运动物体的运动特征;根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体。
可选地,当检测到所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,包括:将所述监控视频数据输入至预先训练好的目标检测神经网络;当根据所述目标检测神经网络检测得到预设目标运动物体中的任一目标运动物体,则启动预先训练好的目标跟踪神经网络。
可选地,根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体,包括:判断所述目标运动物体的运动轨迹是否符合高空抛物的轨迹特征数据;当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体。
可选地,根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体,包括:获取目标运动物体出现在监控视频时的高度;当目标运动物体出现在监控视频时的高度大于高空抛物最小高度阈值,获取目标运动物体在监控视频中停止运动时的高度;判断目标运动物体在监控视频中停止运动时的高度是否小于最小落地阈值;当目标运动物体在监控视频中停止运动时的高度小于最小落地阈值,判定目标运动物体为高空抛物物体。
可选地,当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体,包括:当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判断所述目标运动物体在空中的运动轨迹持续时间是否满足自由落体时间条件;当所述目标运动物体在空中的运动轨迹持续时间满足自由落体时间条件,则判定目标运动物体为高空抛物物体。
可选地,所述目标跟踪神经网络的训练过程包括:获取多个高空抛物视频图像,将所述视频图像进行抽帧,对抽帧图像进行目标框坐标标注,得到样本集,所述高空抛物视频图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体视频图像;将所述样本集输入至SiamCAR模型进行训练,得到损失值,调整学习率,直至损失值达到第一预设要求,则得到目标跟踪神经网络。
可选地,所述目标检测神经网络的训练过程包括:获取多个高空抛物图像,所述高空抛物图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体图像;对所述多个高空抛物图像进行抛物物体人工标记,得到样本集;将所述样本集输入至EfficientDet模型进行训练,得到损失值,调整学习率,直至损失值达到第二预设要求,则得到目标检测神经网络。
可选地,当判断出所述目标运动物体为高空抛物物体,则发出警报。
根据第二方面,本发明实施例提供一种高空抛物检测装置,用于高空抛物检测设备,所述高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,包括:数据获取模块,用于获取监控视频数据;运动特征确定模块,用于当所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对所述目标运动物体进行跟踪,得到所述目标运动物体的运动特征;高空抛物物体判断模块,用于根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体。
根据第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面或者第一方面任一实施方式所述的高空抛物检测方法的步骤。
根据第四方面,本发明实施例提供一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面或者第一方面任一实施方式高空抛物检测方法的步骤。
本发明技术方案,具有如下优点:
本实施例提供的高空抛物检测方法,根据预先训练好的目标跟踪神经网络,对目标运动物体进行跟踪,得到目标运动物体的运动特征,根据目标运动物体的运动特征,判断目标运动物体是否为高空抛物物体,由于高空漂浮物(如垃圾袋)或者飞鸟的运动特征与高空抛物物体的运动特征并不相同,从而能够排除高空漂浮物体或者鸟类飞行时对高空抛物检测的影响,提高了高空抛物检测的准确率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中高空抛物检测方法的一个具体示例的流程图;
图2为本发明实施例中高空抛物检测方法的一个具体示例的流程图;
图3为本发明实施例中高空抛物检测装置的一个具体示例原理框图;
图4为本发明实施例中电子设备的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本实施例提供一种高空抛物检测方法,用于高空抛物检测设备,高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,如图1所示,包括如下步骤:
S101,获取监控视频数据;
示例性地,监控视频数据的获取方式可以是在待检测目标物前放置一个或者多个图像采集设备,为了能够完整采集到待检测目标物的整体情况,图像采集设备所采集的每一帧图像覆盖范围包括整个待检测目标物。比如,当待检测目标物为21层的高楼,那么图像采集设备获取到的监控视频数据中的每一帧都应包含从21层顶部到地面的所有画面。
当高空抛物检测设备连接多个图像采集设备时,获取到的监控视频数据可以包括图像采集设备ID、当前帧的ID、输入数据类型、数据格式、监控视频数据、每帧图片的大小、视频流的帧频当前时间、视频ID等数据。
S102,当监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对目标运动物体进行跟踪,得到目标运动物体的运动特征;
示例性地,目标运动物体可以是在监控视频数据中任一运动的物体。判断监控视频数据中存在目标运动物体的方式可以包括以下步骤:首先,选取监控视频数据的关键帧,在关键帧中进行目标运动物体检测。为了减小目标运动物体检测的处理量,可以间隔多帧抽取一帧作为关键帧,以进行目标运动物体检测。其次,对关键帧进行目标运动物体检测,目标运动物体检测的方式可以是vibe背景建模、混合高斯背景建模、帧差法、光流法等,本实施例对判断监控视频数据中是否存在目标运动物体的方式不做限定,本领域技术人员可以根据需要确定。
预先训练好的目标跟踪神经网络可以是基于KCF模型训练得到的目标跟踪神经网络,也可以是基于SiamCAR模型训练得到的目标跟踪神经网络,本实施例对预先训练好的目标跟踪神经网络不做限定,本领域技术人员可以根据需要确定。启动预先训练好的目标跟踪神经网络的方式可以是将检测到的目标运动物体的坐标信息输入至预先训练好的目标跟踪神经网络。
目标运动物体的运动特征可以包括目标运动物体的运动轨迹、运动时间、初始高度、停止运动时的高度或者离开监控范围时的高度等等,本实施例对目标运动物体的运动特征不做限定,本领域技术人员可以根据需要确定。目标运动物体的运动轨迹可以根据目标运动物体在各个关键帧中检测出的目标检测框坐标得到,具体可以是根据目标检测框坐标求得目标检测框中心点坐标,将各个关键帧的目标检测框中心点坐标连接。目标运动物体的运动时间则可以通过将检测到目标运动物体的第一帧图像时间以及目标运动物体停止运动时的关键帧时间作差得到。目标运动物体停止运动时的关键帧可以通过以下步骤得到:判断目标运动物体停止移动的时间是否超过预设时间长度,当超过预设时间长度,获取目标运动物体停止移动时的第一帧时间作为目标运动物体停止运动的时间。初始高度则可以通过读取检测到目标运动物体的第一帧图像中的目标运动物体高度得到。
S103,根据目标运动物体的运动特征,判断目标运动物体是否为高空抛物物体。
示例性地,根据目标运动物体的运动特征,判断目标运动物体是否为高空抛物物体的方式可以是判断以下条件是否都满足或者至少满足一个。条件包括:目标运动物体的运动轨迹符合高空抛物的轨迹特征数据;目标运动物体在空中的运动轨迹持续时间满足自由落体时间条件;目标运动物体初始高度或者停止运动时的高度或者离开监控范围时的高度符合预设要求。
本实施例提供的高空抛物检测方法,根据预先训练好的目标跟踪神经网络,对目标运动物体进行跟踪,得到目标运动物体的运动特征,根据目标运动物体的运动特征,判断目标运动物体是否为高空抛物物体,由于高空漂浮物(如塑料袋)或者飞鸟的运动特征与高空抛物物体的运动特征并不相同,从而能够排除高空漂浮物体或者鸟类飞行时对高空抛物检测的影响,提高了高空抛物检测的准确率。
作为本实施例一种可选的实施方式,上述S102,包括:
将监控视频数据输入至预先训练好的目标检测神经网络;当根据目标检测神经网络检测得到预设目标运动物体中的任一目标运动物体,则启动预先训练好的目标跟踪神经网络。
示例性地,预先训练好的目标检测神经网络可以是基于SiamCAR模型训练得到的神经网络。预先训练好的目标检测神经网络的输出可以是目标运动物体的最小外界矩形、可信度以及类别。目标检测神经网络是对常见的抛物物体种类进行训练得到,那么当目标检测神经网络检测到该物体属于抛物物体种类,触发预先训练好的目标跟踪神经网络进行目标运动物体跟踪。因此,在进行目标运动物体跟踪前,目标检测神经网络可以排除一部分非抛物物体(比如飞鸟),从而减小了目标跟踪神经网络的数据处理量。
作为本实施例一种可选的实施方式,上述S103,包括:判断目标运动物体的运动轨迹是否符合高空抛物的轨迹特征数据;当目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体。
示例性地,判断目标运动物体的运动轨迹是否符合高空抛物的轨迹特征数据包括判断目标运动物体的高度随着时间是否持续降低以及判断目标运动物体在运动过程中与目标运动物体初始位置垂直线的距离是否小于预设阈值。具体判断过程可以是先建立如图2所示的图像坐标,以图像左上角为坐标原点,以纵向为y坐标,横向为x坐标,判断目标运动物体的运动轨迹中y轴坐标是否符合从小到大的规律,y1、y2坐标分别如图所示,结合高空抛物轨迹的特点,在上述坐标系假定条件下,高空抛物轨迹如图所示,其轨迹呈现抛物线特性:y坐标增大,也即y2>y1,x坐标偏移量小于预设阈值,该偏移量指从目标检测神经网络检测到目标运动物体的第一帧图片到目标跟踪神经网络跟踪到最后一张图片为止,中间所有过程的抛物物体的x坐标偏移,其中,预设阈值可以根据图像采集设备到待检测目标物之间的距离以及拍摄角度确定,也可以根据本领域技术人员的经验设置,本实施例不做限定。当目标运动物体的高度随着时间持续降低且目标运动物体在运动过程中与目标运动物体初始位置垂直线的距离始终小于预设阈值,判定目标运动物体为高空抛物物体。
本实施例提供的高空抛物检测方法,判断目标运动物体的运动轨迹是否符合高空抛物的轨迹特征数据,由于高空漂浮物(如垃圾袋)或者飞鸟的运动特征与高空抛物物体的运动特征并不相同,能够排除高空漂浮物体或者鸟类飞行时对高空抛物检测的影响,提高了高空抛物检测的准确率。
作为本实施例一种可选的实施方式,上述S103,包括:
首先,获取目标运动物体出现在监控视频时的高度;当目标运动物体出现在监控视频时的高度大于高空抛物最小高度阈值,获取目标运动物体在监控视频中停止运动时的高度;
示例性地,高空抛物最小高度阈值可以是三层楼的高度,一般认为运动物体第一次出现在监控视频时的高度低于三层楼时,该运动物体不算高空抛物物体,该行为也不定义为高空抛物行为。目标运动物体出现在监控视频时的高度的获取方式可以是当在任一关键帧中检测到目标运动物体第一次出现,则根据预先建立的坐标系,确定在该关键帧中目标运动物体的坐标值,根据目标运动物体的坐标值以及图像映射比例,确定目标运动物体出现在监控视频时的高度,图像映射比例表征图像采集设备采集到的图像与对应图像的真实物理世界的尺寸比例。
当目标运动物体出现在监控视频时的高度大于高空抛物最小高度阈值,获取目标运动物体在监控视频中停止运动时的高度。获取目标运动物体在监控视频中停止运动时的高度的方式可以是判断目标运动物体停止移动的时间是否超过预设时间长度,当超过预设时间长度,获取目标运动物体停止移动时的第一帧作为目标运动物体停止运动时的关键帧,根据预先建立的坐标系,确定在该关键帧中目标运动物体的坐标值。根据目标运动物体的坐标值以及图像映射比例,确定目标运动物体在监控视频中停止运动时的高度。
其次,判断目标运动物体在监控视频中停止运动时的高度是否小于最小落地阈值;当目标运动物体在监控视频中停止运动时的高度小于最小落地阈值,判定目标运动物体为高空抛物物体。
示例性地,最小落地阈值可以是两层楼的高度,本实施例对最小落地阈值不做限定,本领域技术人员不做限定。一般认为抛物物体最终落点与地面的高度差大于两层楼的高度时,抛物物体不属于高空抛物物体,该抛物行为也不属于高空抛物。也即,当目标运动物体在监控视频中停止运动时的高度小于最小落地阈值,则可以判定目标运动物体为高空抛物物体。本实施例提供的高空抛物检测方法,能够排除不符合高空抛物高度标准的目标运动物体,提高了高空抛物检测的准确性。
作为本实施例一种可选的实施方式,当目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体,包括:当目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判断目标运动物体在空中的运动轨迹持续时间是否满足自由落体时间条件;当目标运动物体在空中的运动轨迹持续时间满足自由落体时间条件,则判定目标运动物体为高空抛物物体。
示例性地,判断目标运动物体在空中的运动轨迹持续时间是否满足自由落体时间条件的方式可以是根据目标运动物体在空中的运动轨迹确定目标运动物体的高度差,根据自由落体运动学公式计算在该高度差下的自由落体时间,当目标运动物体在空中的运动轨迹持续时间与计算出的自由落体时间差值在预设范围内,则判定目标运动物体为高空抛物物体。
本实施例提供的高空抛物检测方法,判断目标运动物体在空中的运动轨迹持续时间是否满足自由落体时间条件,从而排除空中漂浮物对高空抛物检测的干扰,从而提高了高空抛物检测的准确性。
作为本实施例一种可选的实施方式,所述目标跟踪神经网络的训练过程包括:
首先,获取多个高空抛物视频图像,将视频图像进行抽帧,对抽帧图像进行目标框坐标标注,得到样本集,高空抛物视频图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体视频图像;
示例性地,获取多个高空抛物视频图像的方式可以是拍摄人工模拟的多种社区、多个楼房、不同楼层、不同天气下的多种物体的抛物行为,录制视频,截取每段抛物视频同时进行抽帧,对每段视频抽取的图片作为一个序列,标注其中的抛物物体的目标框坐标,得到样本集,在样本集中选取了常见的多种类的抛物物体,在多个不同社区的多个不同的高层楼房分别模拟了共计2000多条抛物视频段。
为了进一步扩大样本集数量,还可以采用多种数据增强方式对样本进行处理,包括集合增强、色彩增强,其中,几何增强包括:随机翻转(水平翻转较多,垂直翻转较少),随机裁剪(crop),拉伸,以及旋转,色彩增强包括:对比度增强,亮度增强,以及较为关键的HSV空间增强。
其次,将样本集输入至SiamCAR模型进行训练,得到损失值,调整学习率,直至损失值达到第一预设要求,则得到目标跟踪神经网络。
示例性地,本实施例采用平均重叠(AO)和成功率(SR)及实时性均较高的目标跟踪模型SiamCAR进行抛物物体跟踪模型训练。训练过程包括如下步骤:将样本集以三通道256*256分辨率图像输入SiamCAR模型,计算损失值,调整学习率,并再次循环,直至损失值达到第一预设要求,得到目标跟踪神经网络。判断损失值是否达到第一预设要求的方式可以是判断训练出的损失值满足预设的最小损失值或者判断训练的模型中哪次训练的模型损失值最小。其中损失值由交叉熵损失、加权中心损失和回归损失组成。
本实施例提供的高空抛物检测方法,由于训练过程中使用了多种社区、多个楼房、不同楼层、不同天气下的样本图像,训练得到的神经网络无论在何种外界条件下,均可以跟踪目标运动无图,具有更好的泛化性,因此可排除光照、极端天气的影响,提高了目标跟踪神经网络跟踪目标的准确性,从而提高了高空抛物检测的准确性。
作为本实施例一种可选的实施方式,所述目标检测神经网络的训练过程包括:
首先,获取多个高空抛物图像,高空抛物图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体图像;对所述多个高空抛物图像进行抛物物体人工标记,得到样本集;
示例性地,获取多个高空抛物图像的方式可以是拍摄人工模拟的多种社区、多个楼房、不同楼层、不同天气下的多种物体的抛物行为,录制视频,截取每段抛物视频同时进行抽帧,对每段视频抽取的图片作为一个序列,标注其中的抛物物体种类,得到样本集。
为了进一步扩大样本集数量,还可以采用多种数据增强方式对样本进行处理,包括集合增强、色彩增强,其中,几何增强包括:随机翻转(水平翻转较多,垂直翻转较少),随机裁剪(crop),拉伸,以及旋转,色彩增强包括:对比度增强,亮度增强,以及较为关键的HSV空间增强。
其次,将样本集输入至EfficientDet模型进行训练,得到损失值,调整学习率,直至损失值达到第二预设要求,则得到目标检测神经网络。
示例性地,本实施例采用针对小目标具有良好召回率及准确率的EfficientDetD1模型进行目标检测训练。训练的过程可以包括:在标注有抛物物体框以及抛物物体种类的样本集,随机裁剪,然后调整目标框的坐标,调整样本为三通道512*512分辨率的图像,然后把图像送入网络;计算损失值,调整学习率,并再次循环,直至损失值达到第二预设要求,则得到目标检测神经网络。其中,损失值达到第二预设要求的模型可以是损失值最小的模型也可以是损失值小于预设阈值的模型。损失值由两部分组成:Smooth Loss:获取所有正标签的框的预测结果的回归损失;Focal Loss:获取所有未被忽略的种类的预测结果的交叉熵损失。目标检测神经网络的输出可以包括抛物物体的最小外接矩形、抛物物体类别以及可信度。
本实施例提供的高空抛物检测方法,由于训练过程中使用了多种社区、多个楼房、不同楼层、不同天气下的样本图像,训练得到的神经网络无论在何种外界条件下,均可以正确检测到目标运动无图,具有更好的泛化性,因此可排除光照、极端天气的影响,提高了目标检测神经网络检测目标的准确性,从而提高了高空抛物检测的准确性。
作为本实施例一种可选的实施方式,当判断出所述目标运动物体为高空抛物物体,则发出警报。
示例性地,发出警报的方式可以是在终端界面中显示高空抛物警告信息或者将高空抛物警告信息发送至用户终端,比如通过短信/微信推送的方式将高空抛物警告信息发送至用户手机端,还可以是利用声光报警器,进行声光报警。
本发明实施例提供一种高空抛物检测装置,如图3所示,用于高空抛物检测设备,所述高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,包括:
数据获取模块201,用于获取监控视频数据;具体内容参见上述实施例对应部分,在此不再赘述。
运动特征确定模块202,用于当所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对所述目标运动物体进行跟踪,得到所述目标运动物体的运动特征;具体内容参见上述实施例对应部分,在此不再赘述。
高空抛物物体判断模块203,用于根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,运动特征确定模块202,包括:
目标检测模块,用于将监控视频数据输入至预先训练好的目标检测神经网络;具体内容参见上述实施例对应部分,在此不再赘述。
启动模块,用于当根据目标检测神经网络检测得到预设目标运动物体中的任一目标运动物体,则启动预先训练好的目标跟踪神经网络。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,高空抛物物体判断模块203,包括:
第一判断模块,用于判断所述目标运动物体的运动轨迹是否符合高空抛物的轨迹特征数据;具体内容参见上述实施例对应部分,在此不再赘述。
第二判断模块,用于当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,高空抛物物体判断模块203,包括:
高度确定模块,用于当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,获取目标运动物体出现在监控视频时的高度以及目标运动物体在监控视频中停止运动时的高度;具体内容参见上述实施例对应部分,在此不再赘述。
第三判断模块,用于当目标运动物体出现在监控视频时的高度大于高空抛物最小高度阈值,判断目标运动物体在监控视频中停止运动时的高度是否小于最小落地阈值;具体内容参见上述实施例对应部分,在此不再赘述。
第四判断模块,用于当目标运动物体在监控视频中停止运动时的高度小于最小落地阈值,判定目标运动物体为高空抛物物体。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,第二判断模块,包括:
时间判断模块,用于当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判断所述目标运动物体在空中的运动轨迹持续时间是否满足自由落体时间条件;具体内容参见上述实施例对应部分,在此不再赘述。
第五判断模块,用于当所述目标运动物体在空中的运动轨迹持续时间满足自由落体时间条件,则判定目标运动物体为高空抛物物体。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,所述运动特征确定模块202,包括:
样本获取模块,用于获取多个高空抛物视频图像,将所述视频图像进行抽帧,对抽帧图像进行目标框坐标标注,得到样本集,所述高空抛物视频图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体视频图像;具体内容参见上述实施例对应部分,在此不再赘述。
第一训练模块,用于将所述样本集输入至SiamCAR模型进行训练,得到损失值,调整学习率,直至损失值达到第一预设要求,则得到目标跟踪神经网络。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,所述目标检测模块包括:
抛物物体图像获取模块,用于获取多个高空抛物图像,所述高空抛物图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体图像;具体内容参见上述实施例对应部分,在此不再赘述。
样本确定模块,用于对所述多个高空抛物图像进行抛物物体人工标记,得到样本集;具体内容参见上述实施例对应部分,在此不再赘述。
第二训练模块,用于将所述样本集输入至EfficientDet模型进行训练,得到损失值,调整学习率,直至损失值达到第二预设要求,则得到目标检测神经网络。具体内容参见上述实施例对应部分,在此不再赘述。
作为本实施例一种可选的实施方式,高空抛物检测装置还包括:报警模块,用于当判断出所述目标运动物体为高空抛物物体,则发出警报。具体内容参见上述实施例对应部分,在此不再赘述。
本申请实施例还提供一种电子设备,如图4所示,处理器310和存储器320,其中处理器310和存储器320可以通过总线或者其他方式连接。
处理器310可以为中央处理器(Central Processing Unit,CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器320作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的高空抛物检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理。
存储器320可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器320可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器320中,当被所述处理器310执行时,执行如图1所示实施例中的高空抛物检测方法。
上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本实施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例1中高空抛物检测方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种高空抛物检测方法,其特征在于,用于高空抛物检测设备,所述高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,包括如下步骤:
获取监控视频数据;
当所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对所述目标运动物体进行跟踪,得到所述目标运动物体的运动特征;
根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体;所述根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体,包括:获取目标运动物体出现在监控视频时的高度;当目标运动物体出现在监控视频时的高度大于高空抛物最小高度阈值,获取目标运动物体在监控视频中停止运动时的高度;判断目标运动物体在监控视频中停止运动时的高度是否小于最小落地阈值;当目标运动物体在监控视频中停止运动时的高度小于最小落地阈值,判定目标运动物体为高空抛物物体。
2.根据权利要求1所述的方法,其特征在于,当检测到所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,包括:
将所述监控视频数据输入至预先训练好的目标检测神经网络;
当根据所述目标检测神经网络检测得到预设目标运动物体中的任一目标运动物体,则启动预先训练好的目标跟踪神经网络。
3.根据权利要求1所述的方法,其特征在于,根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体,包括:
判断所述目标运动物体的运动轨迹是否符合高空抛物的轨迹特征数据;
当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体。
4.根据权利要求3所述的方法,其特征在于,当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判定目标运动物体为高空抛物物体,包括:
当所述目标运动物体的运动轨迹符合高空抛物的轨迹特征数据,判断所述目标运动物体在空中的运动轨迹持续时间是否满足自由落体时间条件;
当所述目标运动物体在空中的运动轨迹持续时间满足自由落体时间条件,则判定目标运动物体为高空抛物物体。
5.根据权利要求1所述的方法,其特征在于,所述目标跟踪神经网络的训练过程包括:
获取多个高空抛物视频图像,将所述视频图像进行抽帧,对抽帧图像进行目标框坐标标注,得到样本集,所述高空抛物视频图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体视频图像;
将所述样本集输入至SiamCAR模型进行训练,得到损失值,调整学习率,直至损失值达到第一预设要求,则得到目标跟踪神经网络。
6.根据权利要求2所述的方法,其特征在于,所述目标检测神经网络的训练过程包括:
获取多个高空抛物图像,所述高空抛物图像包括不同光照条件、不同天气条件、不同背景、不同时间段下的不同抛物物体图像;
对所述多个高空抛物图像进行抛物物体人工标记,得到样本集;
将所述样本集输入至EfficientDet模型进行训练,得到损失值,调整学习率,直至损失值达到第二预设要求,则得到目标检测神经网络。
7.根据权利要求1-6任一所述的方法,其特征在于,当判断出所述目标运动物体为高空抛物物体,则发出警报。
8.一种高空抛物检测装置,其特征在于,用于高空抛物检测设备,所述高空抛物检测设备与单帧拍摄范围覆盖整个待检测目标物的图像采集设备连接,包括:
数据获取模块,用于获取监控视频数据;
运动特征确定模块,用于当所述监控视频数据中存在目标运动物体,则启动预先训练好的目标跟踪神经网络,对所述目标运动物体进行跟踪,得到所述目标运动物体的运动特征;
高空抛物物体判断模块,用于根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体;所述根据所述目标运动物体的运动特征,判断所述目标运动物体是否为高空抛物物体,包括:获取目标运动物体出现在监控视频时的高度;当目标运动物体出现在监控视频时的高度大于高空抛物最小高度阈值,获取目标运动物体在监控视频中停止运动时的高度;判断目标运动物体在监控视频中停止运动时的高度是否小于最小落地阈值;当目标运动物体在监控视频中停止运动时的高度小于最小落地阈值,判定目标运动物体为高空抛物物体。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-7任一所述的高空抛物检测方法的步骤。
10.一种存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-7任一所述的高空抛物检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011644379.1A CN112733690B (zh) | 2020-12-31 | 2020-12-31 | 一种高空抛物检测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011644379.1A CN112733690B (zh) | 2020-12-31 | 2020-12-31 | 一种高空抛物检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112733690A CN112733690A (zh) | 2021-04-30 |
CN112733690B true CN112733690B (zh) | 2024-02-20 |
Family
ID=75609287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011644379.1A Active CN112733690B (zh) | 2020-12-31 | 2020-12-31 | 一种高空抛物检测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733690B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191294B (zh) * | 2021-05-11 | 2022-06-17 | 山东浪潮科学研究院有限公司 | 一种基于机器视觉的大型漂浮物体冲撞大坝预防检测方法 |
CN113297949B (zh) * | 2021-05-20 | 2024-02-20 | 科大讯飞股份有限公司 | 高空抛物检测方法、装置、计算机设备和存储介质 |
CN113409362B (zh) * | 2021-06-29 | 2023-02-21 | 深圳市商汤科技有限公司 | 高空抛物检测方法和装置、设备及计算机存储介质 |
CN113298046A (zh) * | 2021-06-29 | 2021-08-24 | 中国科学院计算技术研究所数字经济产业研究院 | 基于监控视频的高空抛物检测方法 |
CN114501061B (zh) * | 2022-01-25 | 2024-03-15 | 上海影谱科技有限公司 | 一种基于物体检测的视频帧对齐方法及*** |
CN114638861A (zh) * | 2022-03-24 | 2022-06-17 | 济南博观智能科技有限公司 | 一种高空抛物检测方法、***及装置 |
CN115187919A (zh) * | 2022-09-14 | 2022-10-14 | 深圳市万物云科技有限公司 | 一种基于多目标跟踪的高空抛物检测方法及相关组件 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105163067A (zh) * | 2015-08-12 | 2015-12-16 | 武汉大学 | 一种基于数字图像处理技术的高空抛物取证*** |
CN109309811A (zh) * | 2018-08-31 | 2019-02-05 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测***与方法 |
WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技(深圳)有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
CN111401311A (zh) * | 2020-04-09 | 2020-07-10 | 苏州海赛人工智能有限公司 | 一种基于图像检测的高空抛物识别方法 |
CN111931719A (zh) * | 2020-09-22 | 2020-11-13 | 苏州科达科技股份有限公司 | 高空抛物检测方法以及装置 |
CN112016414A (zh) * | 2020-08-14 | 2020-12-01 | 熵康(深圳)科技有限公司 | 一种检测高空抛物事件的方法、装置及楼面智能监控*** |
-
2020
- 2020-12-31 CN CN202011644379.1A patent/CN112733690B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105163067A (zh) * | 2015-08-12 | 2015-12-16 | 武汉大学 | 一种基于数字图像处理技术的高空抛物取证*** |
WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技(深圳)有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
CN109309811A (zh) * | 2018-08-31 | 2019-02-05 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测***与方法 |
CN111401311A (zh) * | 2020-04-09 | 2020-07-10 | 苏州海赛人工智能有限公司 | 一种基于图像检测的高空抛物识别方法 |
CN112016414A (zh) * | 2020-08-14 | 2020-12-01 | 熵康(深圳)科技有限公司 | 一种检测高空抛物事件的方法、装置及楼面智能监控*** |
CN111931719A (zh) * | 2020-09-22 | 2020-11-13 | 苏州科达科技股份有限公司 | 高空抛物检测方法以及装置 |
Non-Patent Citations (1)
Title |
---|
周界视频监控中抛物检测算法;何亮明;胡茂林;刘海涛;;天津大学学报(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112733690A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112733690B (zh) | 一种高空抛物检测方法、装置及电子设备 | |
CN112418069B (zh) | 一种高空抛物检测方法、装置、计算机设备及存储介质 | |
CN108446630B (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
CN109484935B (zh) | 一种电梯轿厢监控方法、装置及*** | |
CN104303193B (zh) | 基于聚类的目标分类 | |
CN109040693B (zh) | 智能告警***及方法 | |
CN111210399B (zh) | 一种成像质量评价方法、装置及设备 | |
CN110781964A (zh) | 一种基于视频图像的人体目标检测方法及*** | |
WO2021139049A1 (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
CN110647822A (zh) | 高空抛物行为识别方法、装置、存储介质及电子设备 | |
CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
CN111462155B (zh) | 移动侦测方法、装置、计算机设备和存储介质 | |
CN111582060B (zh) | 自动划线周界报警方法、计算机设备及存储装置 | |
CN112446246B (zh) | 一种图像遮挡检测方法及车载终端 | |
CN112257549B (zh) | 一种基于计算机视觉的楼面危险检测预警方法及*** | |
CN110557628A (zh) | 一种检测摄像头遮挡的方法、装置及电子设备 | |
CN110569770A (zh) | 人体入侵行为识别方法、装置、存储介质及电子设备 | |
CN112270381A (zh) | 基于深度学习的人流量检测方法 | |
CN110674753A (zh) | 偷盗行为预警方法、终端设备及存储介质 | |
CN114120171A (zh) | 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
JP2021007055A (ja) | 識別器学習装置、識別器学習方法およびコンピュータプログラム | |
CN110855932B (zh) | 基于视频数据的报警方法、装置、电子设备及存储介质 | |
Dizon et al. | Development of an open-space visual smart parking system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |