CN113111733A - 一种基于姿态流的打架行为识别方法 - Google Patents
一种基于姿态流的打架行为识别方法 Download PDFInfo
- Publication number
- CN113111733A CN113111733A CN202110313404.6A CN202110313404A CN113111733A CN 113111733 A CN113111733 A CN 113111733A CN 202110313404 A CN202110313404 A CN 202110313404A CN 113111733 A CN113111733 A CN 113111733A
- Authority
- CN
- China
- Prior art keywords
- human
- image
- frame
- key point
- shaped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 210000000707 wrist Anatomy 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 210000001364 upper extremity Anatomy 0.000 claims description 18
- 238000010223 real-time analysis Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 claims description 3
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 claims description 3
- 238000010009 beating Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 25
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 101001081590 Homo sapiens DNA-binding protein inhibitor ID-1 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 102000049143 human ID1 Human genes 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
一种基于姿态流的打架行为识别方法,通过7个步骤对打架行为进行智能识别。该基于姿态流的打架行为识别方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列,结合传统图像算法对人体进行跟踪,通过对视频流连续帧中的人体姿态队列进行逻辑分析,判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报,而且本发明的识别方法无需再收集样本训练打架模型,从而能更高效地识别打架行为。
Description
技术领域
本发明涉及公共安全管理技术领域,特别涉及一种基于姿态流的打架行为识别方法。
背景技术
为了高效应对公共安全事故,及时处理突发事件,降低犯罪率,各个城市的管理者都加大平安城市建设力度。打架是属于扰乱公共秩序的一种行为,打架斗殴有可能涉嫌犯聚众斗殴罪或寻衅滋事罪。
目前对一些公共场所的安全监控,例如工地、小区、学校、监狱,一般通过设置多个监控***,人工长时间对监视画面进行监控,当画面出现异常,出现打架行为时通过报警装置进行报警来对此进行制止。这种方法,不仅带来了较大人工成本,而且当人员短暂离岗,或人员睡岗时,也会导致打架行为的漏报,带来极大的安全隐患。
因此,针对现有技术不足,提供一种基于姿态流的打架行为识别方法以解决现有技术不足甚为必要。
发明内容
本发明其中一个的目的在于避免现有技术的不足之处而提供一种基于姿态流的打架行为识别方法。该基于姿态流的打架行为识别方法通过降低人工视频监控的依赖,还能减少因人员离岗睡岗导致的安全隐患。
本发明的上述目的通过以下技术措施实现:
提供一种基于姿态流的打架行为识别方法,包括有如下步骤:
步骤一、实时采集区域内的视频流数据,并对视频流数据进行实时解析得到图像;
步骤二、根据关键点检测算法模型对步骤一通过实时解析得到的图像判断当前帧图像是否存在人员,存在人员的图像对应得到人体关键点信息,根据人体关键点信息及根据角点检测算法模型对图像进行跟踪,得到图像中人员对应的人形ID;
步骤三、计算当前帧与相邻前一帧的图像中同一人形ID的上肢关键点的变化,得到角度变化和;然后保存各人形ID的角度变化和,得到多帧图像的角度变化和队列;最后累计同一人形ID的角度变化和队列中的角度变化和,将该累计值定义为运动剧烈程度指标;
步骤四、判断在当前帧图像中是否存在两个以上人形ID,如是则进入步骤五,如否则返回步骤一;
步骤五、对当前帧图像中每两个人形ID进行交叠判断,当大于交叠阈值时进入步骤六,否则返回步骤一;
步骤六、判断两个人形ID在步骤三得到的运动剧烈程度指标的大小,当两个人形ID运动剧烈程度指标大于运动剧烈阈值时进入步骤七,否则返回步骤一;
步骤七、输出打架告警,并返回步骤一。
优选的,上述步骤二包括有:
步骤2.1、将步骤一通过实时解析得到的图像按时间先后依次排序,选择自起点方向起始图像,并将起始图像定义为图像t0;
步骤2.2、将图像t0输入关键点检测算法模型,判断是否存在人员,当没有存在人员时则进入步骤2.7,当图像中存在人员时对应得到人体关键点信息,将该图像定义为图像进入步骤2.3;
步骤2.3、计算图像t0中的每个人的人体关键点,并得到对应的关键点最大外接矩形及对应的关键点框,将关键点最大外接矩形定义为人形框;
步骤2.4、将图像t0输入角点检测算法模型得到角点位置信息,根据步骤2.3得到的人形框、关键点框得到人形框角点个数、关键点框角点个数,将图像t0中对应人员的人形框、关键点框、人形框角点个数和关键点框角点个数定义为该人员的人形信息;
步骤2.5、判断在缓存模块中是否有人形ID缓存,当没有缓存则将步骤2.4得到的人形信息,赋予人形ID并缓存至缓存模块,然后进入步骤2.7;如否则进入步骤2.6;
步骤2.6、将步骤2.4得到的人形信息分别与缓存模块中的各个历史人形ID进行人形信息对比,判断步骤2.4得到的人形信息是否与任一历史人形ID的人形信息对应,如是则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息,并缓存至缓存模块然后进入步骤2.7;如否则将步骤2.4得到的人形信息更新为新的人形ID,并缓存至缓存模块然后进入步骤2.7;
步骤2.7、判断图像t0是否存在相邻的下一帧图像,当存在时,进入步骤2.8;当不存在时,返回步骤一;
步骤2.8、将与图像t0相邻的下一帧图像定义为图像t1,进入步骤2.9;
步骤2.9、令图像t1为图像t0,返回步骤2.2。
优选的,上述步骤2.3具体为计算图像t0得到图像中的每个人的人体关键点,得到对应的关键点最大外接矩形并将该关键点最大外接矩形定义为人形框,同时以人体关键点为中心进行扩展,得到m*m像素矩形框的关键点框,m为正数。
优选的,上述步骤2.6包括:
2.4得到的人形信息的人形框计算交叠率,得到人形框交叠率;
步骤2.6.2、分别将缓存模块中的各个历史人形ID中人形信息的关键点框与步骤2.4得到的人形信息的关键点框计算交叠平均值,得到关键点框交叠平均值;
步骤2.6.3、分别将缓存模块中的各个历史人形ID中人形信息的人形框角点个数与步骤2.4得到的人形信息中的人形框角点个数计算比值,得到人形框角点个数比值;
步骤2.6.4、分别将缓存模块中的各个历史人形ID中人形信息的关键点框角点个数比值与步骤2.4得到的人形信息中的关键点框角点个数的比值计算平均值,得到关键点框角点个数比值平均值;
步骤2.6.5、根据步骤2.6.1得到的人形框交叠率,步骤2.6.2得到的关键点框交叠平均值,根据步骤2.6.3得到的人形框角点个数比值以及步骤2.6.4得到的关键点框角点个数比值平均值,通过式(Ⅰ)得到匹配分数G,
G=α(T1+T2)+β(T3+T4)
……式(Ⅰ),
其中T1为人形框交叠率,T2为关键点框交叠平均值,T3为人形框角点个数比值,T4为关键点框角点个数比值平均值,α为人形框权重,β为角点权重;
步骤2.6.6、根据步骤2.6.5得到的匹配分数和最大匹配算法运对人形进行跟踪,如步骤2.4得到的人形信息与任一历史人形ID的人形信息对应,则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息,并缓存至缓存模块然后进入步骤2.7;如步骤2.4得到的人形信息不与任一历史人形ID的人形信息对应,否则将步骤2.4得到的人形信息更新为新的人形ID,并缓存至缓存模块然后进入步骤2.7。
优选的,上述步骤三包括:
步骤3.3、分别根据步骤3.1得到的连线向量和步骤3.2得到的连线向量得到多个夹角变化值;
步骤3.4、将步骤3.3得到的多个夹角变化值相加得到相邻两帧角度变化和Δangle,并保存各人形ID的Δangle,得到多帧图像的角度变化和队列;
步骤3.5、累计同一人形ID的角度变化和队列中的角度变化和,将该累计值定义为运动剧烈程度指标。
优选的,上述上肢关键点连线为左肘与左肩连线、右肘与右肩连线、左腕与左肘连线和右腕与右肘连线。
优选的,上述夹角变化值angle通过式(Ⅱ)得到,
其中confa和confb分别为当前图像中上肢关键点两个关键点的置信度,confa′和confb′相邻下一帧图像中与当前图像相同上肢关键点的置信度。
优选的,上述步骤五包括有:
步骤5.1、判断在同一帧图像中是否存在两个以上人形ID,如是则进行步骤5.2,如否则返回步骤一;
步骤5.2、判断在同一图像中任意两个人形ID的人形框是否交叠,如是则进入步骤5.3,如否返回步骤一;
步骤5.3、判断两个人形ID的人形框的交叠率大小,当交叠率大于交叠阈值时进入步骤六,当交叠率小于等于交叠阈值时返回步骤一。
优选的,上述步骤一具体为实时将采集区域内的视频流数据,进行解析并每隔a秒选取一帧图像,且a为正数。
优选的,上述人体关键点位置为经进行索引编号后的人体骨骼点,且不同位置的人体骨骼点对应编号并不相同。
优选的,上述人体关键点检测模型的数据集为coco、MPII、crowdpose或者AIChallenger。
优选的,上述人体关键点检测模型为OpenPose模型、AlphaPose模型、或者卷积神经网络,其中卷积神经网络为hrnet卷积神经网络、resnet卷积神经网络或者vgg卷积神经网络。
优选的,上述人体关键点为人体骨骼关键14点、人体骨骼关键18点或者人体骨骼关键25点。
优选的,上述角点检测算法模型为surf模型、sift模型或者orb模型。
优选的,上述缓存模块对在t时间段内没有进行更新的历史人形ID进行删除,其中t大于0。
优选的,上述m为25。
优选的,上述运动剧烈阈值为30*π/180。
优选的,上述交叠阈值为0.2。
优选的,上述角度变化和队列的长度为20。
优选的,上述t为5秒。
本发明的一种基于姿态流的打架行为识别方法,通过7个步骤对打架行为进行智能识别。该基于姿态流的打架行为识别方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列,结合传统图像算法对人体进行跟踪,通过对视频流连续帧中的人体姿态队列进行逻辑分析,判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报,而且本发明的识别方法无需再收集样本训练打架模型,从而能更高效地识别打架行为。
附图说明
利用附图对本发明作进一步的说明,但附图中的内容不构成对本发明的任何限制。
图1为一种基于姿态流的打架行为识别方法的流程图。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1。
一种基于姿态流的打架行为识别方法,如图1所示,步骤包括有:
步骤一、实时采集区域内的视频流数据,并对视频流数据进行实时解析得到图像;
步骤二、根据关键点检测算法模型对步骤一通过实时解析得到的图像判断当前帧图像是否存在人员,存在人员的图像对应得到人体关键点信息,根据人体关键点信息及根据角点检测算法模型对图像进行跟踪,得到图像中人员对应的人形ID;
步骤三、计算当前帧与相邻前一帧的图像中同一人形ID的上肢关键点的变化,得到角度变化和;然后保存各人形ID的角度变化和,得到多帧图像的角度变化和队列;最后累计同一人形ID的角度变化和队列中的角度变化和,将该累计值定义为运动剧烈程度指标;
步骤四、判断在当前帧图像中是否存在两个以上人形ID,如是则进入步骤五,如否则返回步骤一;
步骤五、对当前帧图像中每两个人形ID进行交叠判断,当大于交叠阈值时进入步骤六,否则返回步骤一;
步骤六、判断两个人形ID在步骤三得到的运动剧烈程度指标的大小,当两个人形ID运动剧烈程度指标大于运动剧烈阈值时进入步骤七,否则返回步骤一;
步骤七、输出打架告警,并返回步骤一。
本发明的步骤二包括有:
步骤2.1、将步骤一通过实时解析得到的图像按时间先后依次排序,选择自起点方向起始图像,并将起始图像定义为图像t0;
步骤2.2、将图像t0输入关键点检测算法模型,判断是否存在人员,当没有存在人员时则进入步骤2.7,当图像中存在人员时对应得到人体关键点信息,将该图像定义为图像进入步骤2.3;
步骤2.3、计算图像t0中的每个人的人体关键点,并得到对应的关键点最大外接矩形及对应的关键点框,将关键点最大外接矩形定义为人形框;
步骤2.4、将图像t0输入角点检测算法模型得到角点位置信息,根据步骤2.3得到的人形框、关键点框得到人形框角点个数、关键点框角点个数,将图像t0中对应人员的人形框、关键点框、人形框角点个数和关键点框角点个数定义为该人员的人形信息;
步骤2.5、判断在缓存模块中是否有人形ID缓存,当没有缓存则将步骤2.4得到的人形信息,赋予人形ID并缓存至缓存模块,然后进入步骤2.7;如否则进入步骤2.6;
步骤2.6、将步骤2.4得到的人形信息分别与缓存模块中的各个历史人形ID进行人形信息对比,判断步骤2.4得到的人形信息是否与任一历史人形ID的人形信息对应,如是则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息,并缓存至缓存模块然后进入步骤2.7;如否则将步骤2.4得到的人形信息更新为新的人形ID,并缓存至缓存模块然后进入步骤2.7;
步骤2.7、判断图像t0是否存在相邻的下一帧图像,当存在时,进入步骤2.8;当不存在时,返回步骤一;
步骤2.8、将与图像t0相邻的下一帧图像定义为图像t1,进入步骤2.9;
步骤2.9、令图像t1为图像t0,返回步骤2.2。
本发明的步骤一具体为实时将采集区域内的视频流数据,进行解析并每隔a秒选取一帧图像,且a为正数,本实施例的a为5。
需要说明的是每隔a秒选取一帧图像,能有效地减少机器计算,从而节省运算消耗和时间。
本发明的步骤2.3具体为计算图像t0得到图像中的每个人的人体关键点,得到对应的关键点最大外接矩形并将该关键点最大外接矩形定义为人形框,同时以人体关键点为中心进行扩展,得到m*m像素矩形框的关键点框,m为正数且m为25。
本发明的步骤2.6包括:
步骤2.6.1、分别将缓存模块中各个历史人形ID的人形框与步骤2.4得到的人形信息的人形框计算交叠率,得到人形框交叠率;
步骤2.6.2、分别将缓存模块中的各个历史人形ID中人形信息的关键点框与步骤2.4得到的人形信息的关键点框计算交叠平均值,得到关键点框交叠平均值;
步骤2.6.3、分别将缓存模块中的各个历史人形ID中人形信息的人形框角点个数与步骤2.4得到的人形信息中的人形框角点个数计算比值,得到人形框角点个数比值;
步骤2.6.4、分别将缓存模块中的各个历史人形ID中人形信息的关键点框角点个数比值与步骤2.4得到的人形信息中的关键点框角点个数的比值计算平均值,得到关键点框角点个数比值平均值;
步骤2.6.5、根据步骤2.6.1得到的人形框交叠率,步骤2.6.2得到的关键点框交叠平均值,根据步骤2.6.3得到的人形框角点个数比值以及步骤2.6.4得到的关键点框角点个数比值平均值,通过式(Ⅰ)得到匹配分数G,
G=α(T1+T2)+β(T3+T4)
……式(Ⅰ),
其中T1为人形框交叠率,T2为关键点框交叠平均值,T3为人形框角点个数比值,T4为关键点框角点个数比值平均值,α为人形框权重,β为角点权重;
步骤2.6.6、根据步骤2.6.5得到的匹配分数和最大匹配算法运对人形进行跟踪,如步骤2.4得到的人形信息与任一历史人形ID的人形信息对应,则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息,并缓存至缓存模块然后进入步骤2.7;如步骤2.4得到的人形信息不与任一历史人形ID的人形信息对应,否则将步骤2.4得到的人形信息更新为新的人形ID,并缓存至缓存模块然后进入步骤2.7。
本发明的步骤三包括:
具体的上肢关键点连线为左肘与左肩连线、右肘与右肩连线、左腕与左肘连线和右腕与右肘连线。
将左肘的关键点坐标定义为(x1,y1),置信度为conf1;
将右肘的关键点坐标定义为(x2,y2),置信度为conf2;
将左肩的关键点坐标定义为(x3,y3),置信度为conf3;
将右肩的关键点坐标定义为(x4,y4),置信度为conf4;
将左腕的关键点坐标定义为(x5,y5),置信度为conf5;
将右腕的关键点坐标定义为(x6,y6),置信度为conf6;
将左肘的关键点坐标定义为(x1’,y1’),置信度为conf1′;
将右肘的关键点坐标定义为(x2’,y2’),置信度为conf2′;
将左肩的关键点坐标定义为(x3’,y3’),置信度为conf3′;
将右肩的关键点坐标定义为(x4’,y4’),置信度为conf4′;
将左腕的关键点坐标定义为(x5’,y5’),置信度为conf5′;
将右腕的关键点坐标定义为(x6’,y6’),置信度为conf6′;
步骤3.3、分别根据步骤3.1得到的连线向量和步骤3.2得到的连线向量得到多个夹角变化值。
其中夹角变化值angle通过式(Ⅱ)得到,
其中confa和confb分别为当前图像中上肢关键点两个关键点的置信度,confa′和confb′相邻下一帧图像中与当前图像相同上肢关键点的置信度。
步骤3.4、将步骤3.3得到的多个夹角变化值相加得到相邻两帧角度变化和Δangle,并保存各人形ID的Δangle,得到多帧图像的角度变化和队列;
步骤3.5、累计同一人形ID的角度变化和队列中的角度变化和,将该累计值定义为运动剧烈程度指标,例如存在连续三帧图像,顺序依次为图像1、图像2和图像3,图像1和图像2的角度变化和Δangle1,图像2和图像3的角度变化和Δangle2,那么运动剧烈程度指标为Δangle1与Δangle2之和。
需要说明的是,本发明的角度变化和队列的长度为20。
本发明的步骤五包括有:
步骤5.1、判断在同一帧图像中是否存在两个以上人形ID,如是则进行步骤5.2,如否则返回步骤一;
步骤5.2、判断在同一图像中任意两个人形ID的人形框是否交叠,如是则进入步骤5.3,如否返回步骤一;
步骤5.3、判断两个人形ID的人形框的交叠率大小,当交叠率大于交叠阈值时进入步骤六,当交叠率小于等于交叠阈值时返回步骤一,其中交叠阈值为0.2。
本发明的人体关键点位置为经进行索引编号后的人体骨骼点,且不同位置的人体骨骼点对应编号并不相同。本发明的人体关键点为人体骨骼关键14点、人体骨骼关键18点或者人体骨骼关键25点。
本实施例人体关键点为人体骨骼关键18点,具体为为鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右胯、右膝盖、右脚踝、左胯、左膝盖、左脚踝、右眼、左眼、右耳和左耳。且本实施例的人体骨骼关键18点与编号的索引如下表:
编号 | 人体骨骼点 | 编号 | 人体骨骼点 | 编号 | 人体骨骼点 |
0 | 鼻子 | 6 | 左肘 | 12 | 左膝盖 |
1 | 脖子 | 7 | 左腕 | 13 | 左脚踝 |
2 | 右肩 | 8 | 右胯 | 14 | 右眼 |
3 | 脖子 | 9 | 右膝盖 | 15 | 左眼 |
4 | 右腕 | 10 | 右脚踝 | 16 | 右耳 |
5 | 左肩 | 11 | 左胯 | 17 | 左耳 |
本发明的人体关键点检测模型的数据集为coco、MPII、crowdpose或者AIChallenger,本实施例具体使用的人体关键点检测模型数据集为coco。
本发明的人体关键点检测模型为OpenPose模型、AlphaPose模型、或者卷积神经网络,其中卷积神经网络为hrnet卷积神经网络、resnet卷积神经网络或者vgg卷积神经网络;其中OpenPose模型为自下而上的算法模型,AlphaPose模型为自上而下的算法模型。本实施例具体使用的人体关键点检测模型为OpenPose模型。
本发明通过人体关键点检测模型检测人体关键点信息具体操作如下:首先对图像进行特征提取,输出第一支路和第二支路;然后根据第一支路和第二支路并基于匈牙利算法将同一人的人体关键点连接,得到同一人员的人体关键点位置信息的骨架图。其中第一支路为不同部位的关键点热图,且关键点热图为不同骨骼关节区域出现人体关键点的置信度。第二支路为不同连接关节点的向量附近区域置信度。
本发明的缓存模块对在t时间段内没有进行更新的历史人形ID进行删除,其中t大于0,其中t为5秒。且缓存模块对长时间未进行更新历史人形ID进行删除能降低缓存模块的数据量。
本发明的角点检测算法模型为surf模型、sift模型或者orb模型。本实施例具体使用的角点检测算法模型为surf模型。
需要说明的是,本发明的OpenPose模型、AlphaPose模型、hrnet卷积神经网络、resnet卷积神经网络、vgg卷积神经网络、surf模型、sift模型或者orb模型都为本领域技术公知常识,只要将对应数据或者图像输入上述的模型或者卷积神经网络就能得到对应的数据信息,因此在此不再一一累述具体设置与操作过程。
需要说明的是,本发明的缓存模块存储有历史人形ID,且历史人形ID代表为不同人员的人形信息,每个人形ID具有人形框、关键点框、人形框角点个数和关键点框角点个数。
该基于姿态流的打架行为识别方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列,结合传统图像算法对人体进行跟踪,通过对视频流连续帧中的人体姿态队列进行逻辑分析,判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报,而且本发明的识别方法无需再收集样本训练打架模型,从而能更高效地识别打架行为。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细说明,本领域的普通技术人员应当理解,可以对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (10)
1.一种基于姿态流的打架行为识别方法,其特征在于,包括有如下步骤:
步骤一、实时采集区域内的视频流数据,并对视频流数据进行实时解析得到图像;
步骤二、根据关键点检测算法模型对步骤一通过实时解析得到的图像判断当前帧图像是否存在人员,存在人员的图像对应得到人体关键点信息,根据人体关键点信息及根据角点检测算法模型对图像进行跟踪,得到图像中人员对应的人形ID;
步骤三、计算当前帧与相邻前一帧的图像中同一人形ID的上肢关键点的变化,得到角度变化和;然后保存各人形ID的角度变化和,得到多帧图像的角度变化和队列;最后累计同一人形ID的角度变化和队列中的角度变化和,将该累计值定义为运动剧烈程度指标;
步骤四、判断在当前帧图像中是否存在两个以上人形ID,如是则进入步骤五,如否则返回步骤一;
步骤五、对当前帧图像中每两个人形ID进行交叠判断,当大于交叠阈值时进入步骤六,否则返回步骤一;
步骤六、判断两个人形ID在步骤三得到的运动剧烈程度指标的大小,当两个人形ID运动剧烈程度指标大于运动剧烈阈值时进入步骤七,否则返回步骤一;
步骤七、输出打架告警,并返回步骤一。
2.根据权利要求1所述的基于姿态流的打架行为识别方法,其特征在于:所述步骤二包括有:
步骤2.1、将步骤一通过实时解析得到的图像按时间先后依次排序,选择自起点方向起始图像,并将起始图像定义为图像t0;
步骤2.2、将图像t0输入关键点检测算法模型,判断是否存在人员,当没有存在人员时则进入步骤2.7,当图像中存在人员时对应得到人体关键点信息,将该图像定义为图像进入步骤2.3;
步骤2.3、计算图像t0中的每个人的人体关键点,并得到对应的关键点最大外接矩形及对应的关键点框,将关键点最大外接矩形定义为人形框;
步骤2.4、将图像t0输入角点检测算法模型得到角点位置信息,根据步骤2.3得到的人形框、关键点框得到人形框角点个数、关键点框角点个数,将图像t0中对应人员的人形框、关键点框、人形框角点个数和关键点框角点个数定义为该人员的人形信息;
步骤2.5、判断在缓存模块中是否有人形ID缓存,当没有缓存则将步骤2.4得到的人形信息,赋予人形ID并缓存至缓存模块,然后进入步骤2.7;如否则进入步骤2.6;
步骤2.6、将步骤2.4得到的人形信息分别与缓存模块中的各个历史人形ID进行人形信息对比,判断步骤2.4得到的人形信息是否与任一历史人形ID的人形信息对应,如是则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息,并缓存至缓存模块然后进入步骤2.7;如否则将步骤2.4得到的人形信息更新为新的人形ID,并缓存至缓存模块然后进入步骤2.7;
步骤2.7、判断图像t0是否存在相邻的下一帧图像,当存在时,进入步骤2.8;当不存在时,返回步骤一;
步骤2.8、将与图像t0相邻的下一帧图像定义为图像t1,进入步骤2.9;
步骤2.9、令图像t1为图像t0,返回步骤2.2。
3.根据权利要求2所述的基于姿态流的打架行为识别方法,其特征在于:所述步骤2.3具体为计算图像t0得到图像中的每个人的人体关键点,得到对应的关键点最大外接矩形并将该关键点最大外接矩形定义为人形框,同时以人体关键点为中心进行扩展,得到m*m像素矩形框的关键点框,m为正数。
4.根据权利要求3所述的基于姿态流的打架行为识别方法,其特征在于,所述步骤2.6包括:
步骤2.6.1、分别将缓存模块中各个历史人形ID的人形框与步骤2.4得到的人形信息的人形框计算交叠率,得到人形框交叠率;
步骤2.6.2、分别将缓存模块中的各个历史人形ID中人形信息的关键点框与步骤2.4得到的人形信息的关键点框计算交叠平均值,得到关键点框交叠平均值;
步骤2.6.3、分别将缓存模块中的各个历史人形ID中人形信息的人形框角点个数与步骤2.4得到的人形信息中的人形框角点个数计算比值,得到人形框角点个数比值;
步骤2.6.4、分别将缓存模块中的各个历史人形ID中人形信息的关键点框角点个数比值与步骤2.4得到的人形信息中的关键点框角点个数的比值计算平均值,得到关键点框角点个数比值平均值;
步骤2.6.5、根据步骤2.6.1得到的人形框交叠率,步骤2.6.2得到的关键点框交叠平均值,根据步骤2.6.3得到的人形框角点个数比值以及步骤2.6.4得到的关键点框角点个数比值平均值,通过式(Ⅰ)得到匹配分数G,
G=α(T1+T2)+β(T3+T4)
……式(Ⅰ),
其中T1为人形框交叠率,T2为关键点框交叠平均值,T3为人形框角点个数比值,T4为关键点框角点个数比值平均值,α为人形框权重,β为角点权重;
步骤2.6.6、根据步骤2.6.5得到的匹配分数和最大匹配算法运对人形进行跟踪,如步骤2.4得到的人形信息与任一历史人形ID的人形信息对应,则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息,并缓存至缓存模块然后进入步骤2.7;如步骤2.4得到的人形信息不与任一历史人形ID的人形信息对应,否则将步骤2.4得到的人形信息更新为新的人形ID,并缓存至缓存模块然后进入步骤2.7。
7.根据权利要求6所述的基于姿态流的打架行为识别方法,其特征在于:所述步骤五包括有:
步骤5.1、判断在同一帧图像中是否存在两个以上人形ID,如是则进行步骤5.2,如否则返回步骤一;
步骤5.2、判断在同一图像中任意两个人形ID的人形框是否交叠,如是则进入步骤5.3,如否返回步骤一;
步骤5.3、判断两个人形ID的人形框的交叠率大小,当交叠率大于交叠阈值时进入步骤六,当交叠率小于等于交叠阈值时返回步骤一。
8.根据权利要求7所述的基于姿态流的打架行为识别方法,其特征在于:所述步骤一具体为实时将采集区域内的视频流数据,进行解析并每隔a秒选取一帧图像,且a为正数。
9.根据权利要求8所述的基于姿态流的打架行为识别方法,其特征在于:所述人体关键点位置为经进行索引编号后的人体骨骼点,且不同位置的人体骨骼点对应编号并不相同;
所述人体关键点检测模型的数据集为coco、MPII、crowdpose或者AIChallenger;
所述人体关键点检测模型为OpenPose模型、AlphaPose模型、或者卷积神经网络,其中卷积神经网络为hrnet卷积神经网络、resnet卷积神经网络或者vgg卷积神经网络;
所述人体关键点为人体骨骼关键14点、人体骨骼关键18点或者人体骨骼关键25点;
所述角点检测算法模型为surf模型、sift模型或者orb模型;
所述缓存模块对在t时间段内没有进行更新的历史人形ID进行删除,其中t大于0。
10.根据权利要求9所述的基于姿态流的打架行为识别方法,其特征在于:所述m为25;
所述运动剧烈阈值为30*π/180;
所述交叠阈值为0.2;
所述角度变化和队列的长度为20;
所述t为5秒。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110313404.6A CN113111733B (zh) | 2021-03-24 | 2021-03-24 | 一种基于姿态流的打架行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110313404.6A CN113111733B (zh) | 2021-03-24 | 2021-03-24 | 一种基于姿态流的打架行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113111733A true CN113111733A (zh) | 2021-07-13 |
CN113111733B CN113111733B (zh) | 2022-09-30 |
Family
ID=76710663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110313404.6A Active CN113111733B (zh) | 2021-03-24 | 2021-03-24 | 一种基于姿态流的打架行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111733B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627403A (zh) * | 2021-10-12 | 2021-11-09 | 深圳市安软慧视科技有限公司 | 一种选图推图方法、***及相关设备 |
CN114783059A (zh) * | 2022-04-20 | 2022-07-22 | 浙江东昊信息工程有限公司 | 一种基于深度相机的寺庙香客参拜管理方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160063330A1 (en) * | 2014-09-03 | 2016-03-03 | Sharp Laboratories Of America, Inc. | Methods and Systems for Vision-Based Motion Estimation |
CN109614882A (zh) * | 2018-11-19 | 2019-04-12 | 浙江大学 | 一种基于人体姿态估计的暴力行为检测***及方法 |
CN110427811A (zh) * | 2019-06-21 | 2019-11-08 | 武汉倍特威视***有限公司 | 基于视频流数据的人体骨骼化打架识别方法 |
CN110490148A (zh) * | 2019-08-22 | 2019-11-22 | 四川自由健信息科技有限公司 | 一种打架斗殴行为的识别方法 |
-
2021
- 2021-03-24 CN CN202110313404.6A patent/CN113111733B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160063330A1 (en) * | 2014-09-03 | 2016-03-03 | Sharp Laboratories Of America, Inc. | Methods and Systems for Vision-Based Motion Estimation |
CN109614882A (zh) * | 2018-11-19 | 2019-04-12 | 浙江大学 | 一种基于人体姿态估计的暴力行为检测***及方法 |
CN110427811A (zh) * | 2019-06-21 | 2019-11-08 | 武汉倍特威视***有限公司 | 基于视频流数据的人体骨骼化打架识别方法 |
CN110490148A (zh) * | 2019-08-22 | 2019-11-22 | 四川自由健信息科技有限公司 | 一种打架斗殴行为的识别方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627403A (zh) * | 2021-10-12 | 2021-11-09 | 深圳市安软慧视科技有限公司 | 一种选图推图方法、***及相关设备 |
CN114783059A (zh) * | 2022-04-20 | 2022-07-22 | 浙江东昊信息工程有限公司 | 一种基于深度相机的寺庙香客参拜管理方法和*** |
CN114783059B (zh) * | 2022-04-20 | 2022-10-25 | 浙江东昊信息工程有限公司 | 一种基于深度相机的寺庙香客参拜管理方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN113111733B (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020177498A1 (zh) | 一种基于姿态估计的非侵入式人体热舒适检测方法及*** | |
CN106412501B (zh) | 一种视频的施工安全行为智能监控***及其监控方法 | |
CN111144263A (zh) | 一种建筑工人高坠事故预警方法及装置 | |
CN109598229B (zh) | 基于动作识别的监控***及其方法 | |
CN107451568A (zh) | 使用深度卷积神经网络的姿态检测方法及设备 | |
CN113111733B (zh) | 一种基于姿态流的打架行为识别方法 | |
US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
CN109298785A (zh) | 一种监测设备的人机联控***及方法 | |
CN110569772A (zh) | 一种泳池内人员状态检测方法 | |
CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及*** | |
CN107463887A (zh) | 列车驾驶员手势智能检查***及智能检查方法 | |
CN113569766B (zh) | 一种面向无人机巡逻的行人异常行为检测方法 | |
CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和*** | |
CN111783702A (zh) | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 | |
CN110533011B (zh) | 发放传单行为的检测方法及检测*** | |
CN112382068B (zh) | 基于bim与dnn的车站候车线跨越检测*** | |
CN116229507A (zh) | 人体姿态检测方法及*** | |
CN116152745A (zh) | 一种抽烟行为检测方法、装置、设备及存储介质 | |
CN116453058A (zh) | 基于深度学习和数字分身的居家老人行为监测方法及*** | |
CN113408435B (zh) | 一种安全监控方法、装置、设备和存储介质 | |
CN114758286B (zh) | 基于工作票事件的边缘智能安全监测方法和装置 | |
CN115731563A (zh) | 一种远距离监控人员倒地识别方法 | |
CN110378515A (zh) | 一种突发事件的预测方法、装置、存储介质和服务器 | |
CN113420711A (zh) | 一种服务行业工作人员服务行为识别算法及*** | |
CN113496200A (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |