CN114581847A - 一种基于gam***的社区行人异常行为检测方法和装置 - Google Patents

一种基于gam***的社区行人异常行为检测方法和装置 Download PDF

Info

Publication number
CN114581847A
CN114581847A CN202210208816.8A CN202210208816A CN114581847A CN 114581847 A CN114581847 A CN 114581847A CN 202210208816 A CN202210208816 A CN 202210208816A CN 114581847 A CN114581847 A CN 114581847A
Authority
CN
China
Prior art keywords
target
detected
frame
gam
tracker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210208816.8A
Other languages
English (en)
Other versions
CN114581847B (zh
Inventor
王智慧
李名帅
刘辰旭
孙瑞雪
葛铭昌
崔宾阁
于建志
包永堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202210208816.8A priority Critical patent/CN114581847B/zh
Publication of CN114581847A publication Critical patent/CN114581847A/zh
Application granted granted Critical
Publication of CN114581847B publication Critical patent/CN114581847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于GAM***的社区行人异常行为检测方法和装置，通过对待处理视频图像的分析处理，采用YOLOX及其无锚方法检测目标，并将后选择的图注意力模型融合与合并，利用GAM***进行优化，根据候选图注意力图谱的匹配得分确定关键点坐标，使用重心偏移量判断的方法判定目标是否快速奔跑；使用比较边框的长宽比值与变化率的方法判定目标是否跌倒；使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时，目标的速度、检测框、移动距离，往复运动次数较行人正常运动时有明显的变化，异常行为判断结果稳定，提高了社区中行人异常行为检测的方法，有助于提升突发情况的办事效率。

Description

一种基于GAM***的社区行人异常行为检测方法和装置
技术领域
本发明涉及深度学习及计算机视觉技术领域，尤其涉及一种基于GAM***的社区行人异常行为检测方法和装置。
背景技术
当前社会中常发生偷盗、老人和儿童摔倒等突发的意外情况，如果事发当时周围没有他人目击，对于偷盗的侦察和对摔倒带来的问题的及时解决会有困难，提升了安保人员的工作难度。
带有GAM的多行人追踪方法是基于检测的多目标跟踪框架，在诸多数据集当中表现出了自己的能力，即使是在密集的人群当中，仍有良好的跟踪效果。带有GAM***的多行人追踪方法的跟踪精度与推理速度都优于其他现存的跟踪框架，且跟踪目标对象的切换次数明显降低。
为侦测社区行人的突发情况，并及时地做出警报反馈，提高安保人员的效率，在现有GAM的基础上，亟待提供一种新的对社区行人异常行为检测的方法。
发明内容
本发明提供一种基于GAM***的社区行人异常行为检测方法和装置，在现有技术中带有GAM***的多行人追踪方法的基础上，增加对行人轨迹进行分析的异常判断逻辑，借助优秀的跟踪效果来实现对行人奔跑异常、跌倒异常与徘徊异常的实时监测。
本发明提供的具体技术方案如下：
一方面，本发明提供的一种基于GAM***的社区行人异常行为检测方法包括：
将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测；
基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配；
基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑；和/或，
基于目标特征提取结果，根据待检测目标的检测结果计算行人高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒；和/或，
基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊；
若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种，则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
可选的，所述将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测，具体包括：
将从YOLOX网络中输出的差异化特征输入至GAM***，将所述GAM***检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍，并根据所述检测到的目标的图像采集区域的中心位置进行定位；
将图像采集区域中的图像调整为标准尺寸[Hs，Ws]后，进行归一化提取；
基于稀疏性选择策略确定候选者，并提取与所述图像采集区域中的图像和所述候选者向对应的特征参数，其中，所述候选者宽度和高度分别是所述标准尺寸的1/2；
将所述候选者中的至少一个输入至图注意力模型，估计所述目标和候选者之间的相关性；
将所有所述候选者的图注意力模型进行融合与合并，通过所述GAM***输出目标检测结果。
可选的，基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，具体包括：
对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型，并通过1×1卷积层生成特征图；
对所述特征图经过3×3卷积运算，估算目标边框尺寸，并通过1×1卷积层生成目标类别结果；
对所述特征图经过3×3卷积运算，获取目标中心偏移，并通过不同的1×1卷积层生成标边框尺寸和目标中心偏移量；
对所述特征图经过3×3卷积运算，估算目标边框尺寸，并通过1×1卷积层生成个体差异化特征。
可选的，所述对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型，并通过1×1卷积层生成特征图，具体包括：
根据图注意力得分执行非极大值抑制(NMS)，以提取峰值关键点，保留图注意力得分大于阈值的关键点的坐标；
根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框，以及个体差异化特征，并在估计的目标中心提取身份嵌入。
可选的，基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，判断待检测目标是否发生奔跑之前，所述方法还包括：
基于所述目标的部位坐标为[ht，wt]确定所述边框中对应身体重心的坐标为[hd，wd]，以及确定候选者中对应身体重心的坐标为[hc，wc]，其中，所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。
可选的，所述基于目标的身体重心坐标为[ht，wt]，确定所述行人边框中对应身体重心的坐标为[hd，wd]，以及确定候选者中对应身体重心的坐标为[hc，wc]，具体包括：
根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计，初始化多个子轨迹；
在所述待处理的视频图像数据帧中第一帧以后的帧中，将检测到的边框与现有的跟踪片段相连接；
采用卡尔曼滤波函数预测所述目标在当前帧中的位置；检测到所述目标的坐标与预测位置距离大于预设值，则将相应的成本设置为无穷大。
可选的，所述基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑，具体包括：
基于所述视频图像数据帧预测目标的位置，最小化所述图像采集区域；
针对所述视频图像建立坐标系，记录并保存当前检测到的所有目标的标识和坐标；
针对同一目标收集预设数量的坐标信息和速度，对所述速度分布建立高斯分布模型运算，并基于运算结果实时更新所述高斯模型；
将所述目标边框内图像进行图像分析以确定目标重心；
当所述目标重心偏离量大于预设阈值并保持第一预设时长时，确定所述目标为异常奔跑，则对所述目标边框进行标记。
可选的，所述基于目标特征提取结果，根据待检测目标的检测结果计算高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒，具体包括：
间隔第一固定的帧数检测目标的边框回归尺寸的宽高信息，计算目标的宽高比值；
当第二预设时长内连续检测到宽高比值大于预设宽高阈值时，判定所述目标跌倒异常，则对所述目标边框进行标记。
可选的，所述基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊，具体包括：
记录所述视频图像中的行人的往复运动的次数，间隔第二固定帧数记录所述目标的中心位置作为目标运动轨迹，建立所述目标的运动方向向量；
若第t时刻与第t-1时刻的运动方向向量的夹角大于预设值，则确定为一次往复运动；
当所述往复次数达到预设阈值时，判定所述目标异常徘徊，则对所述目标边框进行标记。
在一方面，本发明还提供一种基于GAM***的社区行人异常行为检测装置包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行上述任一项所述的方法。
本发明的有益效果如下：
本发明提供于一种GAM***的社区行人异常行为检测方法和装置，通过对待处理视频图像的分析处理，采用YOLOX及其无锚方法检测目标，并将后选择的图注意力模型融合与合并，利用GAM***进行优化，根据候选图注意力图谱的匹配得分确定关键点坐标，使用重心偏移量判断的方法判定目标是否快速奔跑；使用比较边框的长宽比值与变化率的方法判定目标是否跌倒；使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时，目标的速度、检测框、移动距离，往复运动次数较行人正常运动时有明显的变化，异常行为判断结果稳定，提高了社区中行人异常行为检测的方法，有助于提升突发情况的办事效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于GAM***的社区行人异常行为检测方法；
图2为本发明实施例的一种将待处理的视频图像数据帧输入预先训练好的YOLOX网络获取输出结果的流程示意图；
图3为本发明实施例的采用的GAM***的工作原理图；
图4为本发明实施例中示例性判断待检测目标是否发生奔跑的流程示意图；
图5为本发明实施例的示例性判断待检测目标是否发生跌倒的流程示意图；
图6为本发明实施例的示例性判断待检测目标是否存在异常徘徊的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合图1～图6对本发明实施例的一种基于GAM***的社区行人异常行为检测方法和装置进行详细的说明。
参考图1所示，本发明实施例提供的基于GAM***的社区行人异常行为检测方法包括：
S1：将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测。
本申请实施例中采用的GAM***的工作原理图如图3所示。
在获取高分辨率特征图的过程中，采用采用ResNet-34(残差神经网络)作为骨干网络，以便在准确性和速度之间取得良好的平衡。通过YOLOX检测器进行行人检测，为了提高后续计算的效率，只保留了对行人的检测，而对其他类别的预测参数进行了剪裁。
具体在，图2示出了一种将待处理的视频图像数据帧输入预先训练好的YOLOX网络获取输出结果的流程示意图。该步骤具体还包括：
S11：将从YOLOX网络中输出的差异化特征输入至GAM***，将所述GAM***检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍，并根据所述检测到的目标的图像采集区域的中心位置进行定位。
S12：将图像采集区域中的图像调整为标准尺寸[Hs，Ws]后，进行归一化提取。
S13：基于稀疏性选择策略确定候选者，并提取与所述图像采集区域中的图像和所述候选者向对应的特征参数，其中，所述候选者宽度和高度分别是所述标准尺寸的1/2。
在计算过程中，基于稀疏选择策略，选出几个大小为[Hc，Wc]＝[Hs/2，Ws/2]的候选者，并从搜索区域上统一提取的特征中抽取相应的特征sc。
S14:将所述候选者中的至少一个输入至图注意力模型，估计所述目标和候选者之间的相关性。
对于每个有效的第i个跟踪目标，其特征模板结合了当前n帧上检测到的矩形的提取特征Si＝{si，1，si，2，...，si，n}。为了提高计算效率，n被设定为10。为了保持特征大小一致，在特征提取前，检测到的矩形也被调整为[Ht，Wt]＝[HC，Wc]的大小。
候选者cj的GAM***
Figure BDA0003532241210000084
被用来估计第t个被跟踪的目标和每个候选者之间的相关性，每个特征通道[Hc，Wc]的大小相同。图注意力模型
Figure BDA0003532241210000085
的值是由第i个目标和位置上的每个候选cj之间的特征s(h，w，nc)来估计和归一化的：
Figure BDA0003532241210000081
S15:将所有所述候选者的图注意力模型进行融合与合并，通过所述GAM***输出目标检测结果。
融合的图注意力模型Mi，j是基于所有这些候选者的图注意力模型而得到的，计算方法如下：
Figure BDA0003532241210000082
和
Figure BDA0003532241210000083
其中cj∈Cj和Cj是第j个检测到的行人的候选集，nc∈{1，...，NC}是合并注意力图谱的通道索引，Nc是通道数，与提取的特征通道数相同。
将合并的图注意力模型Mi，j作为GAM***的输出图。
S2：基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配。
在此过程中，使用预设的损失函数进行预测的结果和实际真实的结果之间的差异进行求解。具体的，
对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型，并通过1×1卷积层生成特征图。
(一)、对所述特征图经过3×3卷积运算，估算目标边框尺寸，并通过1×1卷积层生成目标类别结果；
根据图注意力得分执行非极大值抑制(NMS)，以提取峰值关键点，保留图注意力得分大于阈值的关键点的坐标，然后，根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框，以及个体差异化特征，并在估计的目标中心提取身份嵌入。
(二)、对所述特征图经过3×3卷积运算，获取目标中心偏移，并通过不同的1×1卷积层生成目标边框尺寸目标中心偏移量；
(三)、对所述特征图经过3×3卷积运算，估算目标边框尺寸，并通过1×1卷积层生成个体差异化特征。
在上述步骤S22和S23中，使用到了L1损失函数，对偏移和大小的损失一同进行了计算。
而目标中心偏移量输出的目的是更精确地定位对象。由于输出图的跨度为4，这将引入不可忽略的量化误差。该分支估计每个像素相对于对象中心的连续偏移，以减轻下采样的影响。边框尺寸输出负责估计每个坐标位置上的目标的边界框的高度和宽度。
再此之后，基于所述目标的部位坐标为[ht，wt]确定所述边框中对应身体重心的坐标为[hd，wd]，以及确定候选者中对应身体重心的坐标为[hc，wc]，其中，所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。具体的，
假设目标上特定身体重心的位置为[ht，wt]，检测到的矩形上相同的身体重心为[hd，wd]。在选择候选者时，该身体重心在每个候选者上的位置为[hc，wc]，其中cj∈Cj。目标和检测到的矩形之间该身体重心的定位距离Dij始终大于Di，cj的最小值，其中一个候选值具有以下关系:
Figure BDA0003532241210000101
具体的，该步骤可以根据如下子步骤执行：
根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计，初始化多个子轨迹。
在所述待处理的视频图像数据帧中第一帧以后的帧中，将检测到的边框与现有的跟踪片段相连接；
采用卡尔曼滤波函数预测所述目标在当前帧中的位置；检测到所述目标的坐标与预测位置距离大于预设值，则将相应的成本设置为无穷大。
S3：基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑。
如图4示例性示出了判断待检测目标是否发生奔跑的流程示意图，具体的：
S31：基于所述视频图像数据帧预测目标的位置，最小化所述图像采集区域。
对于每一帧，在目标关联前预测目标的位置，可以最小化搜索区域并提高关联的准确性。本方法利用卡尔曼滤波方法来预测目标位置。首先利用卡尔曼滤波器预测目标当前的位置和速度，并同时用先前收集的信息来更新卡尔曼滤波器的参数。
预测步骤通过以下公式进行：
Figure BDA0003532241210000102
其中，
Figure BDA0003532241210000103
包含第i个目标在第t帧上的预测位置和速度，
Figure BDA0003532241210000104
包含第i个目标在第t-1帧上的预测位置和速度，Ft是状态转换矩阵，ut是控制向量，Pt是预测结果
Figure BDA0003532241210000105
的协方差矩阵，Qt是预测过程中的噪声协方差矩阵。
在当前帧的跟踪过程结束后，更新卡尔曼滤波器的参数来适应实际情况。更新步骤通过以下公式进行：
Figure BDA0003532241210000111
其中，K是卡尔曼增益，zt是每个目标的位置，Rt是观察结果zt的不确定性的协方差(即传感器噪声的协方差)，
Figure BDA0003532241210000112
P′t、K′则是
Figure BDA0003532241210000113
Pt、K的更新值，并在下一轮预测和更新中被反馈。
将卡尔曼滤波预测的目标位置与实际检测到的目标位置进行比较，当二者距离大于设定的阈值Kkal时认为目标发生了异常奔跑。
S32：针对所述视频图像建立坐标系，记录并保存当前检测到的所有目标的标识和坐标。
以图像的左上角为坐标原点，以宽所在的方向为X坐标、高所在的方向为Y坐标建立直角坐标系。以固定的间隔帧数i不断地记录当前检测到的所有目标及相应中心位置坐标并储存：
Posx[id][t]＝x#(7)
Posy[id][t]＝y#(8)
其中下标t在每次存储后自动加1且以上两个公式中的t总是保持同步的，然后再根据以下公式计算目标的速度：
Figure BDA0003532241210000114
其中i为采集坐标位置的间隔帧数，通过该公式利用先前储存的位置信息来计算目标的速度V，并将其储存在v_now[id][t]中同样的下标t在每次储存后自动加1。同时根据公式：
Figure BDA0003532241210000115
计算该目标此时的速度与上一次检测的速度比值K并储存在K[id][t]内每次储存后t自加1。
S33：针对同一目标收集预设数量的坐标信息和速度，对所述速度分布建立高斯分布模型运算，并基于运算结果实时更新所述高斯模型。
在收集到一定数量的同一目标坐标信息并计算速度后，根据已有的速度信息，对该目标的速度分布建立高斯分布模型：
v～N(μ，σ2)#(11)
其中μ为平均值、σ2为方差，并在每次计算该目标的速度后对其速度分布高斯模型进行实时更新。
S34：将所述目标的边框内图像进行图像分析以确定目标重心。
根据目标边框对图像进行裁剪，得到每个目标的单独图像，以裁切图的左上角为原点，向下为Y轴正方向、向右为X轴正方向建立坐标系，可以得到每个像素的坐标(x,y)，并记录X、Y方向的最大值，记作：xmax与ymax然后对图片进行cv处理得到目标灰度图，并计算灰度图对应的直方图，根据直方图内数值分布情况筛选出灰度值比较集中的数值范围，并将此范围作为目标的灰度值取值区间Dforeground(前景)，其他数值作为背景Dbackground处理,并定义前景mask标识公式：
Figure BDA0003532241210000121
然后对图像灰度图进行逐像素遍历，根据公式：
Figure BDA0003532241210000122
Figure BDA0003532241210000123
计算出目标重心，其中(x,y)坐标为裁剪后单个图标以左上角原点建立坐标系得到的坐标。
S35：当所述目标重心偏离量大于预设阈值并保持第一预设时长时，确定所述目标为异常奔跑，则对所述目标边框进行标记。
将人物重心、图像中心、图像宽高根据公式：
Figure BDA0003532241210000124
进行比例计算，当目标重心偏离比例Kw大于设定的阈值
Figure BDA0003532241210000134
并保持一定的时间tthr时认为目标在在异常奔跑，并对其进行标记。
根据预设定的速度比值阈值Kthr、离散阈值vthr与目标的y坐标根据公式：
Figure BDA0003532241210000131
Figure BDA0003532241210000132
根据目标的Y坐标实时计算出对应的自适应阈值，其中Posy[id][t]为目标的Y坐标，s为预设定的固定参数。若V＞Vm或K＞Km则判断目标为奔跑异常，并对其进行标记，在视频中显示出来。
S4：基于目标特征提取结果，根据待检测目标的检测结果计算行人高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒。
如图5示例性示出了判断待检测目标是否发生跌倒的流程示意图，具体的：
S41：间隔第一固定的帧数检测目标的边框回归尺寸的宽高信息，计算目标的宽高比值；
S42：当第二预设时长内连续检测到宽高比值大于预设宽高阈值时，判定所述目标跌倒异常，则对所述目标边框进行标记。
示例性的，根据检测到目标边框的宽高信息，每间隔固定的帧数i，根据公式：
Figure BDA0003532241210000133
计算目标的宽高比值，当连续多次检测到宽高比值大于设定的宽高阈值并保持一定的时间tthr时判定目跌倒异常，并对其进行标记，在视频中显示出来。
S5：基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊。
如图6示例性示出了判断待检测目标是否存在异常徘徊的流程示意图，具体的：
S51：间隔第二固定帧数记录所述目标的中心位置作为目标运动轨迹，建立所述目标的运动方向向量。
设定目标移动总距离Dis_T与目标位移(目标当前位置与初始位置的直线距离)Dis_P，初值均为0。每隔固定的间隔帧数i记录每个id所对应目标的中心位置坐标的同时，基于公式(7)(8)储存的坐标位置信息按如下公式：
Figure BDA0003532241210000141
Figure BDA0003532241210000142
更新在t时刻的移动距离Dis_T与位移Dis_P的值。
对每一个id所对应的目标设定一个往复次数值bf，用来记录该目标在视频中做往复运动的次数。设定bf初始值为0，以公式(7)(8)储存的坐标信息，按如下公式计算时刻t时的斜率：
postmp[id][t]＝{posx[id][t]，posy[id][t]}#(21)
每隔固定的间隔帧数i记录每个id所对应的中心位置作为目标步行轨迹。然后以目标的运动轨迹为基础，根据公式：
vector[id][t]＝{postmp[id][t-1]，postmp[id][t]}#(22)
S52：若第t时刻与第t-1时刻的运动方向向量的夹角大于预设值，则确定为一次往复运动。
建立目标的运动方向向量，然后对每一个id所对应的目标设定一个往复次数值bf，用来记录该目标在视频中做往复运动的次数。设定bf初始值为0，若第t时刻与第t-1时刻的满足条件：
angel(vector[id][t-1]，vector[id][t]＞angelthr#(23)
即前后两次运动方向向量的夹角大于设定的阈值angelthr则认为目标发生了一次折返，使bf[id]的值加1。，则
当Dis_T[id]＞1.5Dis_P[id]或者bf[id]≥3时，则判断目标为徘徊异常，并对其进行标记，在视频中显示出来。
S53：当所述往复次数达到预设阈值时，判定所述目标异常徘徊，则对所述目标边框进行标记。
S6：若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种，则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
本发明提供一种基于GAM***的社区行人异常行为检测方法和装置，通过对待处理视频图像的分析处理，采用YOLOX及其无锚方法检测目标，并将后选择的图注意力模型融合与合并，利用GAM***进行优化，根据候选图注意力图谱的匹配得分确定关键点坐标，使用重心偏移量判断的方法判定目标是否快速奔跑；使用比较边框的长宽比值与变化率的方法判定目标是否跌倒；使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时，目标的速度、检测框、移动距离，往复运动次数较行人正常运动时有明显的变化，异常行为判断结果稳定，提高了社区中行人异常行为检测的方法，有助于提升突发情况的办事效率。
基于相同的发明构思，本发明实施例还提供一种基于GAM***的社区行人异常行为检测装置，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行上述任一项所述的方法。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于GAM***的社区行人异常行为检测方法，其特征在于，所述社区行人异常行为检测方法包括：
将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测；
基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配；
基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑；和/或，
基于目标特征提取结果，根据待检测目标的检测结果计算行人高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒；和/或，
基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊；
若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种，则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
2.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测，具体包括：
将从YOLOX网络中输出的差异化特征输入至GAM***，将所述GAM***检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍，并根据所述检测到的目标的图像采集区域的中心位置进行定位；
将图像采集区域中的图像调整为标准尺寸[Hs，Ws]后，进行归一化提取；
基于稀疏性选择策略确定候选者，提取与所述图像采集区域中的图像和所述候选者向对应的特征参数，其中，所述候选者宽度和高度分别是所述标准尺寸的1/2；
将所述候选者中的至少一个输入至图注意力模型，估计所述目标和候选者之间的相关性；
将所有所述候选者的图注意力模型进行融合与合并，通过所述GAM***输出目标检测结果。
3.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，具体包括：
对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型，并通过1×1卷积层生成特征图；
对所述特征图经过3×3卷积运算，估算目标边框尺寸，并通过1×1卷积层生成目标类别结果；
对所述特征图经过3×3卷积运算，获取目标中心偏移，并通过不同的1×1卷积层生成目标边框尺寸和目标中心偏移量；
对所述特征图经过3×3卷积运算，估算目标边框尺寸，并通过1×1卷积层生成个体差异化特征。
4.根据权利要求3所述的社区行人异常行为检测方法，其特征在于，所述对所述YOLOX网络的特征经过3×3卷积运算后估算图注意力模型，并通过1×1卷积层生成特征图，具体包括：
根据图注意力得分执行非极大值抑制(NMS)，以提取峰值关键点，保留图注意力得分大于阈值的关键点的坐标；
根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框，以及个体差异化特征，并在估计的目标中心提取身份嵌入。
5.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，在基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM***中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，判断待检测目标是否发生奔跑之前，所述方法还包括：
基于所述目标的部位坐标为[ht，wt]确定所述边框中对应身体重心的坐标为[hd，wd]，以及确定候选者中对应身体重心坐标为[hc，wc]，其中，所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。
6.根据权利要求5所述的社区行人异常行为检测方法，其特征在于，所述基于目标的身体重心坐标为[ht，wt]，确定所述目标边框中对应身体重心的坐标为[hd，wd]，以及确定候选者中对应身体重心的坐标为[hc，wc]，具体包括：
根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计，初始化多个子轨迹；
在所述待处理的视频图像数据帧中第一帧以后的帧中，将检测到的边框与现有的跟踪片段相连接；
采用卡尔曼滤波函数预测所述目标在当前帧中的位置；检测到所述目标的坐标与预测位置距离大于预设值，则将相应的成本设置为无穷大。
7.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑，具体包括：
基于所述视频图像数据帧预测目标的位置，最小化所述图像采集区域；
针对所述视频图像建立坐标系，记录并保存当前检测到的所有目标的标识和坐标；
针对同一目标收集预设数量的坐标信息和速度，对所述速度分布建立高斯分布模型运算，并基于运算结果实时更新所述高斯模型；
将所述目标边框内图像进行图像分析以确定目标重心；
当所述目标重心偏离量大于预设阈值并保持第一预设时长时，确定所述目标为异常奔跑，则对所述目标边框进行标记。
8.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述基于目标特征提取结果，根据待检测目标的检测结果计算高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒，具体包括：
间隔第一固定的帧数检测目标的边框回归尺寸的宽高信息，计算目标的宽高比值；
当第二预设时长内连续检测到宽高比值大于预设宽高阈值时，判定所述目标跌倒异常，则对所述目标边框进行标记。
9.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊，具体包括：
间隔第二固定帧数记录所述目标的中心位置作为目标运动轨迹，建立所述目标的运动方向向量；
若第t时刻与第t-1时刻的运动方向向量的夹角大于预设值，则确定为一次往复运动；
当所述往复次数达到预设阈值时，判定所述目标异常徘徊，则对所述目标边框进行标记。
10.一种基于GAM***的社区行人异常行为检测装置，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行如权利要求1至9中任一项所述的方法。
CN202210208816.8A 2022-03-04 2022-03-04 一种基于gam***的社区行人异常行为检测方法和装置 Active CN114581847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210208816.8A CN114581847B (zh) 2022-03-04 2022-03-04 一种基于gam***的社区行人异常行为检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210208816.8A CN114581847B (zh) 2022-03-04 2022-03-04 一种基于gam***的社区行人异常行为检测方法和装置

Publications (2)

Publication Number Publication Date
CN114581847A true CN114581847A (zh) 2022-06-03
CN114581847B CN114581847B (zh) 2024-04-19

Family

ID=81773419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210208816.8A Active CN114581847B (zh) 2022-03-04 2022-03-04 一种基于gam***的社区行人异常行为检测方法和装置

Country Status (1)

Country Link
CN (1) CN114581847B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681983A (zh) * 2023-06-02 2023-09-01 中国矿业大学 一种基于深度学习的狭长目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190238566A1 (en) * 2018-01-31 2019-08-01 Palo Alto Networks, Inc. Context profiling for malware detection
CN111291735A (zh) * 2020-04-30 2020-06-16 华夏天信（北京）智能低碳技术研究院有限公司 基于轨迹分析的井下人员奔跑异常行为检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190238566A1 (en) * 2018-01-31 2019-08-01 Palo Alto Networks, Inc. Context profiling for malware detection
CN111291735A (zh) * 2020-04-30 2020-06-16 华夏天信（北京）智能低碳技术研究院有限公司 基于轨迹分析的井下人员奔跑异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王怀宝;郭江利;: "基于跟踪轨迹的徘徊行为分析", 计算机与数字工程, no. 05, 20 May 2016 (2016-05-20) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681983A (zh) * 2023-06-02 2023-09-01 中国矿业大学 一种基于深度学习的狭长目标检测方法
CN116681983B (zh) * 2023-06-02 2024-06-11 中国矿业大学 一种基于深度学习的狭长目标检测方法

Also Published As

Publication number Publication date
CN114581847B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
US9076042B2 (en) Method of generating index elements of objects in images captured by a camera system
CN109076190B (zh) 检测异常情况的设备和方法
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
JP2024041997A (ja) 情報処理装置、情報処理方法およびプログラム
EP2345999A1 (en) Method for automatic detection and tracking of multiple objects
WO2009148702A1 (en) Detecting and tracking targets in images based on estimated target geometry
CN104200492B (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
US20220366570A1 (en) Object tracking device and object tracking method
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN115497056B (zh) 基于深度学习的区域内遗失物品检测方法
Sanchez-Matilla et al. A predictor of moving objects for first-person vision
Manikandan et al. Human object detection and tracking using background subtraction for sports applications
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN114581847B (zh) 一种基于gam***的社区行人异常行为检测方法和装置
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN112669294B (zh) 相机遮挡检测方法、装置、电子设备及存储介质
Douillard et al. A spatio-temporal probabilistic model for multi-sensor object recognition
CN108985131B (zh) 一种目标识别方法及图像处理设备
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Liu et al. A real-time vision-based vehicle tracking and traffic surveillance
CN111998853A (zh) 一种agv视觉导航方法及***
CN117011341A (zh) 基于目标追踪的车辆轨迹检测方法及***
JP3729933B2 (ja) 自動監視装置
Zhong et al. Research on Road Object Detection Algorithm Based on YOLOv5+ Deepsort

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant