CN114581847A - 一种基于gam***的社区行人异常行为检测方法和装置 - Google Patents
一种基于gam***的社区行人异常行为检测方法和装置 Download PDFInfo
- Publication number
- CN114581847A CN114581847A CN202210208816.8A CN202210208816A CN114581847A CN 114581847 A CN114581847 A CN 114581847A CN 202210208816 A CN202210208816 A CN 202210208816A CN 114581847 A CN114581847 A CN 114581847A
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- frame
- gam
- tracker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000005484 gravity Effects 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000004069 differentiation Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims 3
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于GAM***的社区行人异常行为检测方法和装置,通过对待处理视频图像的分析处理,采用YOLOX及其无锚方法检测目标,并将后选择的图注意力模型融合与合并,利用GAM***进行优化,根据候选图注意力图谱的匹配得分确定关键点坐标,使用重心偏移量判断的方法判定目标是否快速奔跑;使用比较边框的长宽比值与变化率的方法判定目标是否跌倒;使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时,目标的速度、检测框、移动距离,往复运动次数较行人正常运动时有明显的变化,异常行为判断结果稳定,提高了社区中行人异常行为检测的方法,有助于提升突发情况的办事效率。
Description
技术领域
本发明涉及深度学习及计算机视觉技术领域,尤其涉及一种基于GAM***的社区行人异常行为检测方法和装置。
背景技术
当前社会中常发生偷盗、老人和儿童摔倒等突发的意外情况,如果事发当时周围没有他人目击,对于偷盗的侦察和对摔倒带来的问题的及时解决会有困难,提升了安保人员的工作难度。
带有GAM的多行人追踪方法是基于检测的多目标跟踪框架,在诸多数据集当中表现出了自己的能力,即使是在密集的人群当中,仍有良好的跟踪效果。带有GAM***的多行人追踪方法的跟踪精度与推理速度都优于其他现存的跟踪框架,且跟踪目标对象的切换次数明显降低。
为侦测社区行人的突发情况,并及时地做出警报反馈,提高安保人员的效率,在现有GAM的基础上,亟待提供一种新的对社区行人异常行为检测的方法。
发明内容
本发明提供一种基于GAM***的社区行人异常行为检测方法和装置,在现有技术中带有GAM***的多行人追踪方法的基础上,增加对行人轨迹进行分析的异常判断逻辑,借助优秀的跟踪效果来实现对行人奔跑异常、跌倒异常与徘徊异常的实时监测。
本发明提供的具体技术方案如下:
一方面,本发明提供的一种基于GAM***的社区行人异常行为检测方法包括:
将待处理的视频图像数据帧输入预先训练好的YOLOX网络,获取高分辨率特征图,并采用目标检测器进行行人检测;
基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配;
基于目标特征提取结果,根据预设时间段内检测到的目标坐标变化速度,采用正态分布和阈值法,判断待检测目标是否发生奔跑;和/或,
基于目标特征提取结果,根据待检测目标的检测结果计算行人高度和宽度的比值,并根据计算的长宽比值判断待检测目标是否发生跌倒;和/或,
基于目标特征提取结果,根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系,采用向量法结合阈值法判断待检测目标是否存在异常徘徊;
若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种,则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
可选的,所述将待处理的视频图像数据帧输入预先训练好的YOLOX网络,获取高分辨率特征图,并采用目标检测器进行行人检测,具体包括:
将从YOLOX网络中输出的差异化特征输入至GAM***,将所述GAM***检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍,并根据所述检测到的目标的图像采集区域的中心位置进行定位;
将图像采集区域中的图像调整为标准尺寸[Hs,Ws]后,进行归一化提取;
基于稀疏性选择策略确定候选者,并提取与所述图像采集区域中的图像和所述候选者向对应的特征参数,其中,所述候选者宽度和高度分别是所述标准尺寸的1/2;
将所述候选者中的至少一个输入至图注意力模型,估计所述目标和候选者之间的相关性;
将所有所述候选者的图注意力模型进行融合与合并,通过所述GAM***输出目标检测结果。
可选的,基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配,具体包括:
对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型,并通过1×1卷积层生成特征图;
对所述特征图经过3×3卷积运算,估算目标边框尺寸,并通过1×1卷积层生成目标类别结果;
对所述特征图经过3×3卷积运算,获取目标中心偏移,并通过不同的1×1卷积层生成标边框尺寸和目标中心偏移量;
对所述特征图经过3×3卷积运算,估算目标边框尺寸,并通过1×1卷积层生成个体差异化特征。
可选的,所述对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型,并通过1×1卷积层生成特征图,具体包括:
根据图注意力得分执行非极大值抑制(NMS),以提取峰值关键点,保留图注意力得分大于阈值的关键点的坐标;
根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框,以及个体差异化特征,并在估计的目标中心提取身份嵌入。
可选的,基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配,判断待检测目标是否发生奔跑之前,所述方法还包括:
基于所述目标的部位坐标为[ht,wt]确定所述边框中对应身体重心的坐标为[hd,wd],以及确定候选者中对应身体重心的坐标为[hc,wc],其中,所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。
可选的,所述基于目标的身体重心坐标为[ht,wt],确定所述行人边框中对应身体重心的坐标为[hd,wd],以及确定候选者中对应身体重心的坐标为[hc,wc],具体包括:
根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计,初始化多个子轨迹;
在所述待处理的视频图像数据帧中第一帧以后的帧中,将检测到的边框与现有的跟踪片段相连接;
采用卡尔曼滤波函数预测所述目标在当前帧中的位置;检测到所述目标的坐标与预测位置距离大于预设值,则将相应的成本设置为无穷大。
可选的,所述基于目标特征提取结果,根据预设时间段内检测到的目标坐标变化速度,采用正态分布和阈值法,判断待检测目标是否发生奔跑,具体包括:
基于所述视频图像数据帧预测目标的位置,最小化所述图像采集区域;
针对所述视频图像建立坐标系,记录并保存当前检测到的所有目标的标识和坐标;
针对同一目标收集预设数量的坐标信息和速度,对所述速度分布建立高斯分布模型运算,并基于运算结果实时更新所述高斯模型;
将所述目标边框内图像进行图像分析以确定目标重心;
当所述目标重心偏离量大于预设阈值并保持第一预设时长时,确定所述目标为异常奔跑,则对所述目标边框进行标记。
可选的,所述基于目标特征提取结果,根据待检测目标的检测结果计算高度和宽度的比值,并根据计算的长宽比值判断待检测目标是否发生跌倒,具体包括:
间隔第一固定的帧数检测目标的边框回归尺寸的宽高信息,计算目标的宽高比值;
当第二预设时长内连续检测到宽高比值大于预设宽高阈值时,判定所述目标跌倒异常,则对所述目标边框进行标记。
可选的,所述基于目标特征提取结果,根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系,采用向量法结合阈值法判断待检测目标是否存在异常徘徊,具体包括:
记录所述视频图像中的行人的往复运动的次数,间隔第二固定帧数记录所述目标的中心位置作为目标运动轨迹,建立所述目标的运动方向向量;
若第t时刻与第t-1时刻的运动方向向量的夹角大于预设值,则确定为一次往复运动;
当所述往复次数达到预设阈值时,判定所述目标异常徘徊,则对所述目标边框进行标记。
在一方面,本发明还提供一种基于GAM***的社区行人异常行为检测装置包括计算机可读指令,当所述计算机可读指令在计算机上运行时,使得所述计算机执行上述任一项所述的方法。
本发明的有益效果如下:
本发明提供于一种GAM***的社区行人异常行为检测方法和装置,通过对待处理视频图像的分析处理,采用YOLOX及其无锚方法检测目标,并将后选择的图注意力模型融合与合并,利用GAM***进行优化,根据候选图注意力图谱的匹配得分确定关键点坐标,使用重心偏移量判断的方法判定目标是否快速奔跑;使用比较边框的长宽比值与变化率的方法判定目标是否跌倒;使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时,目标的速度、检测框、移动距离,往复运动次数较行人正常运动时有明显的变化,异常行为判断结果稳定,提高了社区中行人异常行为检测的方法,有助于提升突发情况的办事效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于GAM***的社区行人异常行为检测方法;
图2为本发明实施例的一种将待处理的视频图像数据帧输入预先训练好的YOLOX网络获取输出结果的流程示意图;
图3为本发明实施例的采用的GAM***的工作原理图;
图4为本发明实施例中示例性判断待检测目标是否发生奔跑的流程示意图;
图5为本发明实施例的示例性判断待检测目标是否发生跌倒的流程示意图;
图6为本发明实施例的示例性判断待检测目标是否存在异常徘徊的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合图1~图6对本发明实施例的一种基于GAM***的社区行人异常行为检测方法和装置进行详细的说明。
参考图1所示,本发明实施例提供的基于GAM***的社区行人异常行为检测方法包括:
S1:将待处理的视频图像数据帧输入预先训练好的YOLOX网络,获取高分辨率特征图,并采用目标检测器进行行人检测。
本申请实施例中采用的GAM***的工作原理图如图3所示。
在获取高分辨率特征图的过程中,采用采用ResNet-34(残差神经网络)作为骨干网络,以便在准确性和速度之间取得良好的平衡。通过YOLOX检测器进行行人检测,为了提高后续计算的效率,只保留了对行人的检测,而对其他类别的预测参数进行了剪裁。
具体在,图2示出了一种将待处理的视频图像数据帧输入预先训练好的YOLOX网络获取输出结果的流程示意图。该步骤具体还包括:
S11:将从YOLOX网络中输出的差异化特征输入至GAM***,将所述GAM***检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍,并根据所述检测到的目标的图像采集区域的中心位置进行定位。
S12:将图像采集区域中的图像调整为标准尺寸[Hs,Ws]后,进行归一化提取。
S13:基于稀疏性选择策略确定候选者,并提取与所述图像采集区域中的图像和所述候选者向对应的特征参数,其中,所述候选者宽度和高度分别是所述标准尺寸的1/2。
在计算过程中,基于稀疏选择策略,选出几个大小为[Hc,Wc]=[Hs/2,Ws/2]的候选者,并从搜索区域上统一提取的特征中抽取相应的特征sc。
S14:将所述候选者中的至少一个输入至图注意力模型,估计所述目标和候选者之间的相关性。
对于每个有效的第i个跟踪目标,其特征模板结合了当前n帧上检测到的矩形的提取特征Si={si,1,si,2,...,si,n}。为了提高计算效率,n被设定为10。为了保持特征大小一致,在特征提取前,检测到的矩形也被调整为[Ht,Wt]=[HC,Wc]的大小。
候选者cj的GAM***被用来估计第t个被跟踪的目标和每个候选者之间的相关性,每个特征通道[Hc,Wc]的大小相同。图注意力模型的值是由第i个目标和位置上的每个候选cj之间的特征s(h,w,nc)来估计和归一化的:
S15:将所有所述候选者的图注意力模型进行融合与合并,通过所述GAM***输出目标检测结果。
融合的图注意力模型Mi,j是基于所有这些候选者的图注意力模型而得到的,计算方法如下:
和
其中cj∈Cj和Cj是第j个检测到的行人的候选集,nc∈{1,...,NC}是合并注意力图谱的通道索引,Nc是通道数,与提取的特征通道数相同。
将合并的图注意力模型Mi,j作为GAM***的输出图。
S2:基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配。
在此过程中,使用预设的损失函数进行预测的结果和实际真实的结果之间的差异进行求解。具体的,
对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型,并通过1×1卷积层生成特征图。
(一)、对所述特征图经过3×3卷积运算,估算目标边框尺寸,并通过1×1卷积层生成目标类别结果;
根据图注意力得分执行非极大值抑制(NMS),以提取峰值关键点,保留图注意力得分大于阈值的关键点的坐标,然后,根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框,以及个体差异化特征,并在估计的目标中心提取身份嵌入。
(二)、对所述特征图经过3×3卷积运算,获取目标中心偏移,并通过不同的1×1卷积层生成目标边框尺寸目标中心偏移量;
(三)、对所述特征图经过3×3卷积运算,估算目标边框尺寸,并通过1×1卷积层生成个体差异化特征。
在上述步骤S22和S23中,使用到了L1损失函数,对偏移和大小的损失一同进行了计算。
而目标中心偏移量输出的目的是更精确地定位对象。由于输出图的跨度为4,这将引入不可忽略的量化误差。该分支估计每个像素相对于对象中心的连续偏移,以减轻下采样的影响。边框尺寸输出负责估计每个坐标位置上的目标的边界框的高度和宽度。
再此之后,基于所述目标的部位坐标为[ht,wt]确定所述边框中对应身体重心的坐标为[hd,wd],以及确定候选者中对应身体重心的坐标为[hc,wc],其中,所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。具体的,
假设目标上特定身体重心的位置为[ht,wt],检测到的矩形上相同的身体重心为[hd,wd]。在选择候选者时,该身体重心在每个候选者上的位置为[hc,wc],其中cj∈Cj。目标和检测到的矩形之间该身体重心的定位距离Dij始终大于Di,cj的最小值,其中一个候选值具有以下关系:
具体的,该步骤可以根据如下子步骤执行:
根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计,初始化多个子轨迹。
在所述待处理的视频图像数据帧中第一帧以后的帧中,将检测到的边框与现有的跟踪片段相连接;
采用卡尔曼滤波函数预测所述目标在当前帧中的位置;检测到所述目标的坐标与预测位置距离大于预设值,则将相应的成本设置为无穷大。
S3:基于目标特征提取结果,根据预设时间段内检测到的目标坐标变化速度,采用正态分布和阈值法,判断待检测目标是否发生奔跑。
如图4示例性示出了判断待检测目标是否发生奔跑的流程示意图,具体的:
S31:基于所述视频图像数据帧预测目标的位置,最小化所述图像采集区域。
对于每一帧,在目标关联前预测目标的位置,可以最小化搜索区域并提高关联的准确性。本方法利用卡尔曼滤波方法来预测目标位置。首先利用卡尔曼滤波器预测目标当前的位置和速度,并同时用先前收集的信息来更新卡尔曼滤波器的参数。
预测步骤通过以下公式进行:
在当前帧的跟踪过程结束后,更新卡尔曼滤波器的参数来适应实际情况。更新步骤通过以下公式进行:
将卡尔曼滤波预测的目标位置与实际检测到的目标位置进行比较,当二者距离大于设定的阈值Kkal时认为目标发生了异常奔跑。
S32:针对所述视频图像建立坐标系,记录并保存当前检测到的所有目标的标识和坐标。
以图像的左上角为坐标原点,以宽所在的方向为X坐标、高所在的方向为Y坐标建立直角坐标系。以固定的间隔帧数i不断地记录当前检测到的所有目标及相应中心位置坐标并储存:
Posx[id][t]=x#(7)
Posy[id][t]=y#(8)
其中下标t在每次存储后自动加1且以上两个公式中的t总是保持同步的,然后再根据以下公式计算目标的速度:
其中i为采集坐标位置的间隔帧数,通过该公式利用先前储存的位置信息来计算目标的速度V,并将其储存在v_now[id][t]中同样的下标t在每次储存后自动加1。同时根据公式:
计算该目标此时的速度与上一次检测的速度比值K并储存在K[id][t]内每次储存后t自加1。
S33:针对同一目标收集预设数量的坐标信息和速度,对所述速度分布建立高斯分布模型运算,并基于运算结果实时更新所述高斯模型。
在收集到一定数量的同一目标坐标信息并计算速度后,根据已有的速度信息,对该目标的速度分布建立高斯分布模型:
v~N(μ,σ2)#(11)
其中μ为平均值、σ2为方差,并在每次计算该目标的速度后对其速度分布高斯模型进行实时更新。
S34:将所述目标的边框内图像进行图像分析以确定目标重心。
根据目标边框对图像进行裁剪,得到每个目标的单独图像,以裁切图的左上角为原点,向下为Y轴正方向、向右为X轴正方向建立坐标系,可以得到每个像素的坐标(x,y),并记录X、Y方向的最大值,记作:xmax与ymax然后对图片进行cv处理得到目标灰度图,并计算灰度图对应的直方图,根据直方图内数值分布情况筛选出灰度值比较集中的数值范围,并将此范围作为目标的灰度值取值区间Dforeground(前景),其他数值作为背景Dbackground处理,并定义前景mask标识公式:
然后对图像灰度图进行逐像素遍历,根据公式:
计算出目标重心,其中(x,y)坐标为裁剪后单个图标以左上角原点建立坐标系得到的坐标。
S35:当所述目标重心偏离量大于预设阈值并保持第一预设时长时,确定所述目标为异常奔跑,则对所述目标边框进行标记。
将人物重心、图像中心、图像宽高根据公式:
根据预设定的速度比值阈值Kthr、离散阈值vthr与目标的y坐标根据公式:
根据目标的Y坐标实时计算出对应的自适应阈值,其中Posy[id][t]为目标的Y坐标,s为预设定的固定参数。若V>Vm或K>Km则判断目标为奔跑异常,并对其进行标记,在视频中显示出来。
S4:基于目标特征提取结果,根据待检测目标的检测结果计算行人高度和宽度的比值,并根据计算的长宽比值判断待检测目标是否发生跌倒。
如图5示例性示出了判断待检测目标是否发生跌倒的流程示意图,具体的:
S41:间隔第一固定的帧数检测目标的边框回归尺寸的宽高信息,计算目标的宽高比值;
S42:当第二预设时长内连续检测到宽高比值大于预设宽高阈值时,判定所述目标跌倒异常,则对所述目标边框进行标记。
示例性的,根据检测到目标边框的宽高信息,每间隔固定的帧数i,根据公式:
计算目标的宽高比值,当连续多次检测到宽高比值大于设定的宽高阈值并保持一定的时间tthr时判定目跌倒异常,并对其进行标记,在视频中显示出来。
S5:基于目标特征提取结果,根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系,采用向量法结合阈值法判断待检测目标是否存在异常徘徊。
如图6示例性示出了判断待检测目标是否存在异常徘徊的流程示意图,具体的:
S51:间隔第二固定帧数记录所述目标的中心位置作为目标运动轨迹,建立所述目标的运动方向向量。
设定目标移动总距离Dis_T与目标位移(目标当前位置与初始位置的直线距离)Dis_P,初值均为0。每隔固定的间隔帧数i记录每个id所对应目标的中心位置坐标的同时,基于公式(7)(8)储存的坐标位置信息按如下公式:
更新在t时刻的移动距离Dis_T与位移Dis_P的值。
对每一个id所对应的目标设定一个往复次数值bf,用来记录该目标在视频中做往复运动的次数。设定bf初始值为0,以公式(7)(8)储存的坐标信息,按如下公式计算时刻t时的斜率:
postmp[id][t]={posx[id][t],posy[id][t]}#(21)
每隔固定的间隔帧数i记录每个id所对应的中心位置作为目标步行轨迹。然后以目标的运动轨迹为基础,根据公式:
vector[id][t]={postmp[id][t-1],postmp[id][t]}#(22)
S52:若第t时刻与第t-1时刻的运动方向向量的夹角大于预设值,则确定为一次往复运动。
建立目标的运动方向向量,然后对每一个id所对应的目标设定一个往复次数值bf,用来记录该目标在视频中做往复运动的次数。设定bf初始值为0,若第t时刻与第t-1时刻的满足条件:
angel(vector[id][t-1],vector[id][t]>angelthr#(23)
即前后两次运动方向向量的夹角大于设定的阈值angelthr则认为目标发生了一次折返,使bf[id]的值加1。,则
当Dis_T[id]>1.5Dis_P[id]或者bf[id]≥3时,则判断目标为徘徊异常,并对其进行标记,在视频中显示出来。
S53:当所述往复次数达到预设阈值时,判定所述目标异常徘徊,则对所述目标边框进行标记。
S6:若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种,则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
本发明提供一种基于GAM***的社区行人异常行为检测方法和装置,通过对待处理视频图像的分析处理,采用YOLOX及其无锚方法检测目标,并将后选择的图注意力模型融合与合并,利用GAM***进行优化,根据候选图注意力图谱的匹配得分确定关键点坐标,使用重心偏移量判断的方法判定目标是否快速奔跑;使用比较边框的长宽比值与变化率的方法判定目标是否跌倒;使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时,目标的速度、检测框、移动距离,往复运动次数较行人正常运动时有明显的变化,异常行为判断结果稳定,提高了社区中行人异常行为检测的方法,有助于提升突发情况的办事效率。
基于相同的发明构思,本发明实施例还提供一种基于GAM***的社区行人异常行为检测装置,其特征在于,包括计算机可读指令,当所述计算机可读指令在计算机上运行时,使得所述计算机执行上述任一项所述的方法。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于GAM***的社区行人异常行为检测方法,其特征在于,所述社区行人异常行为检测方法包括:
将待处理的视频图像数据帧输入预先训练好的YOLOX网络,获取高分辨率特征图,并采用目标检测器进行行人检测;
基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配;
基于目标特征提取结果,根据预设时间段内检测到的目标坐标变化速度,采用正态分布和阈值法,判断待检测目标是否发生奔跑;和/或,
基于目标特征提取结果,根据待检测目标的检测结果计算行人高度和宽度的比值,并根据计算的长宽比值判断待检测目标是否发生跌倒;和/或,
基于目标特征提取结果,根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系,采用向量法结合阈值法判断待检测目标是否存在异常徘徊;
若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种,则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
2.根据权利要求1所述的社区行人异常行为检测方法,其特征在于,所述将待处理的视频图像数据帧输入预先训练好的YOLOX网络,获取高分辨率特征图,并采用目标检测器进行行人检测,具体包括:
将从YOLOX网络中输出的差异化特征输入至GAM***,将所述GAM***检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍,并根据所述检测到的目标的图像采集区域的中心位置进行定位;
将图像采集区域中的图像调整为标准尺寸[Hs,Ws]后,进行归一化提取;
基于稀疏性选择策略确定候选者,提取与所述图像采集区域中的图像和所述候选者向对应的特征参数,其中,所述候选者宽度和高度分别是所述标准尺寸的1/2;
将所述候选者中的至少一个输入至图注意力模型,估计所述目标和候选者之间的相关性;
将所有所述候选者的图注意力模型进行融合与合并,通过所述GAM***输出目标检测结果。
3.根据权利要求1所述的社区行人异常行为检测方法,其特征在于,所述基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配,具体包括:
对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型,并通过1×1卷积层生成特征图;
对所述特征图经过3×3卷积运算,估算目标边框尺寸,并通过1×1卷积层生成目标类别结果;
对所述特征图经过3×3卷积运算,获取目标中心偏移,并通过不同的1×1卷积层生成目标边框尺寸和目标中心偏移量;
对所述特征图经过3×3卷积运算,估算目标边框尺寸,并通过1×1卷积层生成个体差异化特征。
4.根据权利要求3所述的社区行人异常行为检测方法,其特征在于,所述对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型,并通过1×1卷积层生成特征图,具体包括:
根据图注意力得分执行非极大值抑制(NMS),以提取峰值关键点,保留图注意力得分大于阈值的关键点的坐标;
根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框,以及个体差异化特征,并在估计的目标中心提取身份嵌入。
5.根据权利要求1所述的社区行人异常行为检测方法,其特征在于,在基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法,在GAM***中以所述增加的输出端为输入进行融合分析,用来估算待检测结果和跟踪目标之间匹配度热图,进而进行跟踪目标和检测结果之间的关联匹配,判断待检测目标是否发生奔跑之前,所述方法还包括:
基于所述目标的部位坐标为[ht,wt]确定所述边框中对应身体重心的坐标为[hd,wd],以及确定候选者中对应身体重心坐标为[hc,wc],其中,所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。
6.根据权利要求5所述的社区行人异常行为检测方法,其特征在于,所述基于目标的身体重心坐标为[ht,wt],确定所述目标边框中对应身体重心的坐标为[hd,wd],以及确定候选者中对应身体重心的坐标为[hc,wc],具体包括:
根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计,初始化多个子轨迹;
在所述待处理的视频图像数据帧中第一帧以后的帧中,将检测到的边框与现有的跟踪片段相连接;
采用卡尔曼滤波函数预测所述目标在当前帧中的位置;检测到所述目标的坐标与预测位置距离大于预设值,则将相应的成本设置为无穷大。
7.根据权利要求1所述的社区行人异常行为检测方法,其特征在于,所述基于目标特征提取结果,根据预设时间段内检测到的目标坐标变化速度,采用正态分布和阈值法,判断待检测目标是否发生奔跑,具体包括:
基于所述视频图像数据帧预测目标的位置,最小化所述图像采集区域;
针对所述视频图像建立坐标系,记录并保存当前检测到的所有目标的标识和坐标;
针对同一目标收集预设数量的坐标信息和速度,对所述速度分布建立高斯分布模型运算,并基于运算结果实时更新所述高斯模型;
将所述目标边框内图像进行图像分析以确定目标重心;
当所述目标重心偏离量大于预设阈值并保持第一预设时长时,确定所述目标为异常奔跑,则对所述目标边框进行标记。
8.根据权利要求1所述的社区行人异常行为检测方法,其特征在于,所述基于目标特征提取结果,根据待检测目标的检测结果计算高度和宽度的比值,并根据计算的长宽比值判断待检测目标是否发生跌倒,具体包括:
间隔第一固定的帧数检测目标的边框回归尺寸的宽高信息,计算目标的宽高比值;
当第二预设时长内连续检测到宽高比值大于预设宽高阈值时,判定所述目标跌倒异常,则对所述目标边框进行标记。
9.根据权利要求1所述的社区行人异常行为检测方法,其特征在于,所述基于目标特征提取结果,根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系,采用向量法结合阈值法判断待检测目标是否存在异常徘徊,具体包括:
间隔第二固定帧数记录所述目标的中心位置作为目标运动轨迹,建立所述目标的运动方向向量;
若第t时刻与第t-1时刻的运动方向向量的夹角大于预设值,则确定为一次往复运动;
当所述往复次数达到预设阈值时,判定所述目标异常徘徊,则对所述目标边框进行标记。
10.一种基于GAM***的社区行人异常行为检测装置,其特征在于,包括计算机可读指令,当所述计算机可读指令在计算机上运行时,使得所述计算机执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210208816.8A CN114581847B (zh) | 2022-03-04 | 2022-03-04 | 一种基于gam***的社区行人异常行为检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210208816.8A CN114581847B (zh) | 2022-03-04 | 2022-03-04 | 一种基于gam***的社区行人异常行为检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114581847A true CN114581847A (zh) | 2022-06-03 |
CN114581847B CN114581847B (zh) | 2024-04-19 |
Family
ID=81773419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210208816.8A Active CN114581847B (zh) | 2022-03-04 | 2022-03-04 | 一种基于gam***的社区行人异常行为检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114581847B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681983A (zh) * | 2023-06-02 | 2023-09-01 | 中国矿业大学 | 一种基于深度学习的狭长目标检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190238566A1 (en) * | 2018-01-31 | 2019-08-01 | Palo Alto Networks, Inc. | Context profiling for malware detection |
CN111291735A (zh) * | 2020-04-30 | 2020-06-16 | 华夏天信(北京)智能低碳技术研究院有限公司 | 基于轨迹分析的井下人员奔跑异常行为检测方法 |
-
2022
- 2022-03-04 CN CN202210208816.8A patent/CN114581847B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190238566A1 (en) * | 2018-01-31 | 2019-08-01 | Palo Alto Networks, Inc. | Context profiling for malware detection |
CN111291735A (zh) * | 2020-04-30 | 2020-06-16 | 华夏天信(北京)智能低碳技术研究院有限公司 | 基于轨迹分析的井下人员奔跑异常行为检测方法 |
Non-Patent Citations (1)
Title |
---|
王怀宝;郭江利;: "基于跟踪轨迹的徘徊行为分析", 计算机与数字工程, no. 05, 20 May 2016 (2016-05-20) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681983A (zh) * | 2023-06-02 | 2023-09-01 | 中国矿业大学 | 一种基于深度学习的狭长目标检测方法 |
CN116681983B (zh) * | 2023-06-02 | 2024-06-11 | 中国矿业大学 | 一种基于深度学习的狭长目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114581847B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9767570B2 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
US9076042B2 (en) | Method of generating index elements of objects in images captured by a camera system | |
CN109076190B (zh) | 检测异常情况的设备和方法 | |
KR101735365B1 (ko) | 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법 | |
JP2024041997A (ja) | 情報処理装置、情報処理方法およびプログラム | |
EP2345999A1 (en) | Method for automatic detection and tracking of multiple objects | |
WO2009148702A1 (en) | Detecting and tracking targets in images based on estimated target geometry | |
CN104200492B (zh) | 基于轨迹约束的航拍视频目标自动检测跟踪方法 | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
CN113092807B (zh) | 基于多目标跟踪算法的城市高架道路车辆测速方法 | |
CN115497056B (zh) | 基于深度学习的区域内遗失物品检测方法 | |
Sanchez-Matilla et al. | A predictor of moving objects for first-person vision | |
Manikandan et al. | Human object detection and tracking using background subtraction for sports applications | |
CN111666860A (zh) | 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 | |
CN114581847B (zh) | 一种基于gam***的社区行人异常行为检测方法和装置 | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
CN112669294B (zh) | 相机遮挡检测方法、装置、电子设备及存储介质 | |
Douillard et al. | A spatio-temporal probabilistic model for multi-sensor object recognition | |
CN108985131B (zh) | 一种目标识别方法及图像处理设备 | |
CN107665495B (zh) | 对象跟踪方法及对象跟踪装置 | |
Liu et al. | A real-time vision-based vehicle tracking and traffic surveillance | |
CN111998853A (zh) | 一种agv视觉导航方法及*** | |
CN117011341A (zh) | 基于目标追踪的车辆轨迹检测方法及*** | |
JP3729933B2 (ja) | 自動監視装置 | |
Zhong et al. | Research on Road Object Detection Algorithm Based on YOLOv5+ Deepsort |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |