CN113361370A - 一种基于深度学习的异常行为检测方法 - Google Patents
一种基于深度学习的异常行为检测方法 Download PDFInfo
- Publication number
- CN113361370A CN113361370A CN202110611720.1A CN202110611720A CN113361370A CN 113361370 A CN113361370 A CN 113361370A CN 202110611720 A CN202110611720 A CN 202110611720A CN 113361370 A CN113361370 A CN 113361370A
- Authority
- CN
- China
- Prior art keywords
- track
- detection
- network
- angle
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000006399 behavior Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 18
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学***衡了准确度与实时性的的需求,对存在遮挡的实际环境,具有较强的抗干扰能力。
Description
技术领域
本发明涉及人体行为识别技术领域,具体为一种基于深度学习的异常行为检测方法。
背景技术
近年来,社会公众的安全意识普遍提高,对一些可能产生危害的异常(这里只研究奔跑、徘徊)行为重视度也随之增长,因此如何进行高效、准确的视频监控成为了一个热点研究问题。然而,海量的视频监控在电梯、机场、银行、广场等公众场所随处可见,传统的人力方式监控逐渐显露出弊端。由于异常行为发生次数偏少,长时间手工监控将产生疲劳,发生漏检、误检;需要进行岗前培训,并且手工完成监控,产生额外的经济成本。所以,通过一种自动化的方式实时地分析视频,如果含有上述异常行为,及时引导工作人员来进行工作具有很强的实用意义。
识别徘徊与奔跑行为的关键是准确地对多个行人进行跟踪,从而获得同一个人在图像中的运动轨迹,最后进行异常行为的分类任务。国内对行人运动异常的识别主要分为传统的数字图像处理方法和近几年的神经网络算法。方法主要分为四个部分:运动目标提取、目标特征提取、目标跟踪与行为分析。对于前者,运动目标提取主要有帧间差分法、背景减除法和光流法,但是这些方法适用于较为纯净的场合,帧差法、光流法对遮挡、阴影处理困难,光流法的实时性难以保障,背景减除法则需要对背景进行实时建模与更新,难以寻找一个合适的背景模型。特征提取算法有较为成熟的SIFT、HOG、Haar等特征检测算子。运动目标跟踪算法有粒子滤波、MeanShift、非线性卡尔曼滤波算法,这些跟踪算法中,粒子滤波需要大量的样本数才能获得优秀的性能,均值漂移的初始中心点选择会对算法的迭代次数产生影响,在实际应用中,行人的运动大多是非线性的,因此使用非线性卡尔曼滤波来进行预测。在得到轨迹后,分析轨迹的方法大多是简单地手工设计物理指标来进行分类,但指标过于单一,只研究的若干种轨迹种类,在实际场景中适应性不强。近几年,由于计算机视觉的发展,基于卷积神经网络的方法层出不穷。对于跟踪算法,主要是基于目标检测,存在R-CNN、Faster R-CNN、SSD、YOLO系列等诸多优秀的算法,对于跟踪部分,则以检测结果为基础,通过一个神经网络提取目标特征,进而对这些特征进行匹配,完成目标的跟踪。有方法将跟踪问题转化为两帧间的偏移问题,也有方法同时完成目标框、特征向量的输出,进而完成数据关联。这类方法用了复杂的模块和技巧来提升精度,针对特定数据集与的检测算法,因此实时性会有所下降。
综上所述,目前的方法主要有两大缺陷:第一、传统算法对于实际场景下算法的准确性较差;第二、检测跟踪联合方法的实时性是个不可忽视的因素。因此,如何提高以检测为基础的跟踪算法的准确度仍然是个研究热点。
发明内容
针对现有技术的不足,本发明提供了一种基于深度学习的异常行为检测方法,已解决上述问题。
为实现以上目的,本发明通过以下技术方案予以实现:一种基于深度学习的异常行为检测方法,具体包括以下步骤:
S1、图像获取:利用摄像机获取实际场景RGB图像;
S2、行人检测:利用目标检测算法YOLOv5检测当前视频帧中行人,输出检测框的位置信息、置信度与类别,对检测结果进行筛选,去除冗余框;
S3、构建外观特征网络;
S4、局部级联匹配:依据外观特征网络进行相邻帧目标的级联匹配,得到三种结果:未匹配轨迹、未匹配检测与匹配轨迹;
S5、交并比(IOU)匹配:对步骤S4中未匹配轨迹,未匹配检测进行局部IOU匹配,得到三种结果:未匹配轨迹、未匹配检测与匹配轨迹;
S6、卡尔曼预测:对轨迹结果进行删除、新建、跟踪得到最终的轨迹,进行卡尔曼预测后,与下一帧的检测结果进行匹配,以此循环,完成跟踪;
S7、返回步骤S2,顺序执行,完成跟踪;
S8、行为分类:根据跟踪结果,制作行人轨迹数据集,对轨迹点序列提取特征向量,训练一个SVM分类器,进行分类行人的奔跑、徘徊异常行为与正常行为。
优选的,所述步骤S3具体包括以下步骤:
a1、数据增强处理:训练外观重识别网络时对数据进行一定概率、一定面积比例的矩形进行涂鸦处理,涂鸦颜色使用图像均值;
a2、网络结构设计:建立一个新型的行人外观提取网络,网络以检测框对于的原图区域为输入,骨干网络使用残差网络来提取特征,随后采用CBAM注意力模块使网络更关注通道、空间上的重要部分,为了应对遮挡,将经过CBAM增强后的特征图进行自适应池化成3*3的区域,对于人体外观上的9个局部区域,得到对于人体9个区域的9个特征向量,为了减少参数量,分别进行1*1卷积降维,得到9个低维特征向量,随后进行拼接,进行维度变化,得到512维向量,训练时,损失函数采用CrossEntropy Loss函数,测试时,则对512维特征向量进行标准化,从而与其他向量进行余弦距离计算。
优选的,所述步骤S5和步骤S6中为了减小计算复杂度,从可能的匹配对中进行筛选,选择前后帧存在重叠的框作为可能匹配对,来避免前后帧不可能为同一个行人的匹配计算。
优选的,所述步骤S8具体包括以下步骤:
b1、先将轨迹数据进行人工判断,得出每条轨迹样本对于的异常行为标签,制作成一个轨迹数据集,样本Trajectory(x,y),标签为行为所属类别,对某一行人轨迹序列Trajectoryi(x,y),i∈[1,200],进行运动向量提取,选择最新的200个及以下轨迹点,针对轨迹点速度Fv、加速度Facc、角度Fangle、起始点距离Fdis、起始点位移Foudis、停止率Fsr、转向率Fh cr,由于速度、加速度、角度、起始点距离是和轨迹点长度有关的数据序列,长度的任意变化不利于分类器训练,因此进行维度压缩,对一定长度的数据提取其均值、最大值、最小值、方差、四分位数,从而一个七维的固定长度向量实现数据长度一致,最后得到运动向量总长度为5*7+2维;
b2、计算物理量,各个物理量计算公式定义如下:
速度Fv:
加速度Facc:
角度Fangle:
i∈[1,200]∩i%5=0
起始点距离Fdis:
起始点位移Foudis:
停止率Fsr:
转向率Fh cr:
其中Dis[A,B]为点A,B的欧式距离,acos[A,B,C]为点A,B,C构成的角∠ABC的角度;
b3、对前五个数据序列统一长度,根据Fv、Facc、Fangle、Fdis、Foudis,分别求其最大值、最小值、均值、方差与四分位数quartile,统一成为一个七维向量,如下:
Fangle=[max,min,mean,variance,q1,q2,q3]
最终的37维特征向量:F=[Fv Facc Fangle Fdis Foudis Fsr Fh cr]。
b4、由于特征向量中各个指标的数据分布不同,为了便于比较,将各特征向量F间对应指标进行标准化standardization:
在归一化后,使用SVM算法进行一对一训练,建立6个SVM分类器,样本由正常行走、徘徊、奔跑三部分组成,采用K-folder交叉验证进行训练与测试。
有益效果
本发明提供了一种基于深度学习的异常行为检测方法。与现有的技术相比具备以下有益效果:
(1)、该基于深度学***衡了准确度与实时性的的需求,对存在遮挡的实际环境,具有较强的抗干扰能力。
(2)、该基于深度学习的异常行为检测方法,设计的注意力分区网络结构,利用更深的残差网络获得更具有辨识度的行人外观特征,使用注意力机制关注通道上、空间上的重要部分,并将特征图划分为9部分来进行未遮挡区域的匹配,因此,对遮挡具有更强的找回能力。
(3)、该基于深度学习的异常行为检测方法,在跟踪匹配流程中,将帧间全局匹配调整为局部匹配,去除冗余的匹配计算,提升计算速度。
(4)、该基于深度学习的异常行为检测方法,在进行行人行为时,对比先前单一指标的判断方式,本发明从运动角度出发,使用多维的特征向量来充分挖掘轨迹信息,输入进一个OVO-SVMs进行分类,能够应对更多类别的轨迹,提升算法准确度。
附图说明
图1为本发明异常行为识别方法识别流程图;
图2为本发明ROI区域截取图;
图3为本发明行人检测效果图;
图4为本发明行人检测网络图;
图5为本发明数据增强效果图;
图6为本发明跟踪流程图;
图7为本发明ConvBlock与IdentityBlock示意图;
图8为本发明重识别网络图;
图9为本发明CBAM注意力图;
图10为本发明CBAM通道注意力图;
图11为本发明CBAM空间注意力图;
图12为本发明局部匹配效果图;
图13为本发明行为分类结构图;
图14为本发明重识别网络参数表;
图15为本发明Block设置参数表。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-15,本发明提供一种技术方案:一种基于深度学习的异常行为检测方法,具体包括以下步骤:
S1、图像获取:利用摄像机获取实际场景RGB图像;
S2、行人检测:利用目标检测算法YOLOv5检测当前视频帧中行人,输出检测框的位置信息、置信度与类别,对检测结果进行筛选,去除冗余框;
S3、构建外观特征网络;
S4、局部级联匹配:依据外观特征网络进行相邻帧目标的级联匹配,得到三种结果:未匹配轨迹、未匹配检测与匹配轨迹;
S5、交并比(IOU)匹配:对步骤S4中未匹配轨迹,未匹配检测进行局部IOU匹配,得到三种结果:未匹配轨迹、未匹配检测与匹配轨迹;
S6、卡尔曼预测:对轨迹结果进行删除、新建、跟踪得到最终的轨迹,进行卡尔曼预测后,与下一帧的检测结果进行匹配,以此循环,完成跟踪;
S7、返回步骤S2,顺序执行,完成跟踪;
S8、行为分类:根据跟踪结果,制作行人轨迹数据集,对轨迹点序列提取特征向量,训练一个SVM分类器,进行分类行人的奔跑、徘徊异常行为与正常行为。
本发明中,所述步骤S3具体包括以下步骤:
a1、数据增强处理:训练外观重识别网络时对数据进行一定概率、一定面积比例的矩形进行涂鸦处理,涂鸦颜色使用图像均值;
a2、网络结构设计:建立一个新型的行人外观提取网络,网络以检测框对于的原图区域为输入,骨干网络使用残差网络来提取特征,随后采用CBAM注意力模块使网络更关注通道、空间上的重要部分,为了应对遮挡,将经过CBAM增强后的特征图进行自适应池化成3*3的区域,对于人体外观上的9个局部区域,得到对于人体9个区域的9个特征向量,为了减少参数量,分别进行1*1卷积降维,得到9个低维特征向量,随后进行拼接,进行维度变化,得到512维向量,训练时,损失函数采用CrossEntropy Loss函数,测试时,则对512维特征向量进行标准化,从而与其他向量进行余弦距离计算。
进一步的,数据增强处理包含以下步骤:
a11、设置一个初始的概率p,选择是否做数据增强;
a12、选择一块面积大小为S,作为矩形面积,面积大小设有上下限S1,Sh;
a13、随机的长宽比re确定矩形形状,上下限设为r1,r2;
a14、以0~255间随机数作为矩形区域颜色,并保证矩形区域在图像内。
进一步的,网络结构设计包含以下步骤:
a21、网络第一部分:输入某个原始图像,将其resize至384*128*3大小,并且将维度顺序调整为通道数、高度、宽度,即3*384*128,再使用3*3的卷积核进行卷积层操作,接着对其进行BatchNorm归一化,和Relu激活函数进行激活,得到64*192*96的特征图;
卷积的计算过程为:
其中称为卷积层l的第j个通道的净激活(Netactivation),它通过对前一层输出特征图进行卷积求和与偏置后得到的,是卷积l的第j个通道的输出,f(·)称为激活函数,本文使用Relu函数,Mj表示用于计算的输入特征图子集,是卷积核矩阵,是对卷积后特征图的偏置,对于一个输出特征图每个输入特征图对应的卷积核
所述的Relu激活函数f(x)为:f(x)=Max(0,x);
卷积和激活之后采用BatchNorm,将数据归一化到均值为0,方差为1的高斯分布上:
a22、接着对以上特征图进行3*3的MaxPool最大值池化,得到64*96*48的特征图,最大值池化的计算过程为:
out为池化后的输出特征图,通道数不参与计算;
a23、接着是网络第二部分采用一个ConvBlock,后面接上两个IdentityBlock,IdentityBlock的输入维度与输出维度一样,可以连续串接,而ConvBlock的输入输出维度不同,为了改变维度而设计,因此不能连续串接。为了得到深度特征图,因此用ConvBlock进行转换维度,后面连接IdentityBlock来加深网络。一个IdentityBlock由残差边x(即输入)与F(x)组成,F(x)由三层卷积组成,最后与残差边相加后经过Relu激活函数输出。一个ConvBlock由残差边H(x)与F(x)组成,H(x)为一层卷积层,F(x)为三层卷积层,最后相加后进行Relu激活得到输出,得到256*96*48的特征图;
a24、网络第三部分、第四部分与第五部分分别采用一个ConvBlock与若干个IdentityBlock组合方式组成,第三与第四部分的ConvBlock分别为一次下采样,第五部分不进行下采样。分别得到512*48*24、1024*24*12、2048*24*12的特征图;
a25、对以上特征图加入CBAM注意力机制进行卷积运算,这样可以使网络更加关注通道和空间上的关键部分;
a26、接着使用全局自适应池化将2048*24*12的特征图分成9个部分,对应人体9个区域,得到9个2048*1*1的特征向量,随后进行1*1降维成为512*1*1维,接着将这几个特征向量进行拼接,得到最终512*9的全局特征向量,接上一个全连接层,输出512维的向量。训练时,使用Circle Loss进行训练网络对权值进行调整。这里设置阈值m=0.25,尺度因子γ=256;
Δp=1-m Δn=m
其中L为L个关于类内x的相似度得分,K为K个类间关于x的相似度得分,
本发明中,所述步骤S5和步骤S6中为了减小计算复杂度,从可能的匹配对中进行筛选,选择前后帧存在重叠的框作为可能匹配对,来避免前后帧不可能为同一个行人的匹配计算。
本发明中,所述步骤S8具体包括以下步骤:
b1、先将轨迹数据进行人工判断,得出每条轨迹样本对于的异常行为标签,制作成一个轨迹数据集,样本Trajectory(x,y),标签为行为所属类别,对某一行人轨迹序列Trajectoryi(x,y),i∈[1,200],进行运动向量提取,选择最新的200个及以下轨迹点,针对轨迹点速度Fv、加速度Facc、角度Fangle、起始点距离Fids、起始点位移Foudis、停止率Fsr、转向率Fh cr,由于速度、加速度、角度、起始点距离是和轨迹点长度有关的数据序列,长度的任意变化不利于分类器训练,因此进行维度压缩,对一定长度的数据提取其均值、最大值、最小值、方差、四分位数,从而一个七维的固定长度向量实现数据长度一致,最后得到运动向量总长度为5*7+2维;
b2、计算物理量,各个物理量计算公式定义如下:
速度Fv:
加速度Facc:
角度Fangle:
i∈[1,200]∩i%5=0
起始点距离Fdis:
起始点位移Foudis:
停止率Fsr:
转向率Fh cr:
其中Dis[A,B]为点A,B的欧式距离,acos[A,B,C]为点A,B,C构成的角∠ABC的角度;
b3、对前五个数据序列统一长度,根据Fv、Facc、Fangle、Fdis、Foudis,分别求其最大值、最小值、均值、方差与四分位数quartile,统一成为一个七维向量,如下:
Fangle=[max,min,mean,variance,q1,q2,q3]
最终的37维特征向量:F=[Fv Facc Fangle Fdis Foudis Fsr Fh cr]。
b4、由于特征向量中各个指标的数据分布不同,为了便于比较,将各特征向量F间对应指标进行标准化standardization:
在归一化后,使用SVM算法进行一对一训练,建立6个SVM分类器,样本由正常行走、徘徊、奔跑三部分组成,采用K-folder交叉验证进行训练与测试。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于深度学习的异常行为检测方法,其特征在于:具体包括以下步骤:
S1、图像获取:利用摄像机获取实际场景RGB图像;
S2、行人检测:利用目标检测算法YOLOv5检测当前视频帧中行人,输出检测框的位置信息、置信度与类别,对检测结果进行筛选,去除冗余框;
S3、构建外观特征网络;
S4、局部级联匹配:依据外观特征网络进行相邻帧目标的级联匹配,得到三种结果:未匹配轨迹、未匹配检测与匹配轨迹;
S5、交并比(IOU)匹配:对步骤S4中未匹配轨迹,未匹配检测进行局部IOU匹配,得到三种结果:未匹配轨迹、未匹配检测与匹配轨迹;
S6、卡尔曼预测:对轨迹结果进行删除、新建、跟踪得到最终的轨迹,进行卡尔曼预测后,与下一帧的检测结果进行匹配,以此循环,完成跟踪;
S7、返回步骤S2,顺序执行,完成跟踪;
S8、行为分类:根据跟踪结果,制作行人轨迹数据集,对轨迹点序列提取特征向量,训练一个SVM分类器,进行分类行人的奔跑、徘徊异常行为与正常行为。
2.根据权利要求1所述的一种基于深度学习的异常行为检测方法,其特征在于:所述步骤S3具体包括以下步骤:
a1、数据增强处理:训练外观重识别网络时对数据进行一定概率、一定面积比例的矩形进行涂鸦处理,涂鸦颜色使用图像均值;
a2、网络结构设计:建立一个新型的行人外观提取网络,网络以检测框对于的原图区域为输入,骨干网络使用残差网络来提取特征,随后采用CBAM注意力模块使网络更关注通道、空间上的重要部分,为了应对遮挡,将经过CBAM增强后的特征图进行自适应池化成3*3的区域,对于人体外观上的9个局部区域,得到对于人体9个区域的9个特征向量,为了减少参数量,分别进行1*1卷积降维,得到9个低维特征向量,随后进行拼接,进行维度变化,得到512维向量,训练时,损失函数采用CrossEntropy Loss函数,测试时,则对512维特征向量进行标准化,从而与其他向量进行余弦距离计算。
3.根据权利要求1所述的一种基于深度学习的异常行为检测方法,其特征在于:所述步骤S5和步骤S6中为了减小计算复杂度,从可能的匹配对中进行筛选,选择前后帧存在重叠的框作为可能匹配对,来避免前后帧不可能为同一个行人的匹配计算。
4.根据权利要求1所述的一种基于深度学习的异常行为检测方法,其特征在于:所述步骤S8具体包括以下步骤:
b1、先将轨迹数据进行人工判断,得出每条轨迹样本对于的异常行为标签,制作成一个轨迹数据集,样本Trajectory(x,y),标签为行为所属类别,对某一行人轨迹序列Trajectoryi(x,y),i∈[1,200],进行运动向量提取,选择最新的200个及以下轨迹点,针对轨迹点速度Fv、加速度Facc、角度Fangle、起始点距离Fdis、起始点位移Foudis、停止率Fsr、转向率Fh cr,由于速度、加速度、角度、起始点距离是和轨迹点长度有关的数据序列,长度的任意变化不利于分类器训练,因此进行维度压缩,对一定长度的数据提取其均值、最大值、最小值、方差、四分位数,从而一个七维的固定长度向量实现数据长度一致,最后得到运动向量总长度为5*7+2维;
b2、计算物理量,各个物理量计算公式定义如下:
速度Fv:
加速度Facc:
角度Fangle:
起始点距离Fdis:
起始点位移Foudis:
停止率Fsr:
转向率Fh cr:
其中Dis[A,B]为点A,B的欧式距离,acos[A,B,C]为点A,B,C构成的角∠ABC的角度;
b3、对前五个数据序列统一长度,根据Fv、Facc、Fangle、Fdis、Foudis,分别求其最大值、最小值、均值、方差与四分位数quartile,统一成为一个七维向量,如下:
Fangle=[max,min,mean,variance,q1,q2,q3]
最终的37维特征向量:F=[Fv Facc Fangle Fdis Foudis Fsr Fh cr]。
b4、由于特征向量中各个指标的数据分布不同,为了便于比较,将各特征向量F间对应指标进行标准化standardization:
在归一化后,使用SVM算法进行一对一训练,建立6个SVM分类器,样本由正常行走、徘徊、奔跑三部分组成,采用K-folder交叉验证进行训练与测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110611720.1A CN113361370B (zh) | 2021-06-02 | 2021-06-02 | 一种基于深度学习的异常行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110611720.1A CN113361370B (zh) | 2021-06-02 | 2021-06-02 | 一种基于深度学习的异常行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361370A true CN113361370A (zh) | 2021-09-07 |
CN113361370B CN113361370B (zh) | 2023-06-23 |
Family
ID=77531081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110611720.1A Active CN113361370B (zh) | 2021-06-02 | 2021-06-02 | 一种基于深度学习的异常行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361370B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049624A (zh) * | 2021-11-17 | 2022-02-15 | 中科芯集成电路有限公司 | 一种基于机器视觉的船舶舱室智能检测方法及*** |
CN114821795A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及*** |
CN117315550A (zh) * | 2023-11-29 | 2023-12-29 | 南京市特种设备安全监督检验研究院 | 自动扶梯乘客危险行为的检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079518A (zh) * | 2019-10-31 | 2020-04-28 | 高新兴科技集团股份有限公司 | 一种基于执法办案区场景下的倒地异常行为识别方法 |
CN111339883A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 |
CN111582092A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种基于人体骨架的行人异常行为检测方法 |
CN111582095A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
CN111738164A (zh) * | 2020-06-24 | 2020-10-02 | 广西计算中心有限责任公司 | 一种基于深度学习的行人检测方法 |
KR20210060938A (ko) * | 2019-11-19 | 2021-05-27 | 서강대학교산학협력단 | 딥러닝 기반 보행자 영상 데이터 증강방법 |
-
2021
- 2021-06-02 CN CN202110611720.1A patent/CN113361370B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079518A (zh) * | 2019-10-31 | 2020-04-28 | 高新兴科技集团股份有限公司 | 一种基于执法办案区场景下的倒地异常行为识别方法 |
KR20210060938A (ko) * | 2019-11-19 | 2021-05-27 | 서강대학교산학협력단 | 딥러닝 기반 보행자 영상 데이터 증강방법 |
CN111339883A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 |
CN111582092A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种基于人体骨架的行人异常行为检测方法 |
CN111582095A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
CN111738164A (zh) * | 2020-06-24 | 2020-10-02 | 广西计算中心有限责任公司 | 一种基于深度学习的行人检测方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049624A (zh) * | 2021-11-17 | 2022-02-15 | 中科芯集成电路有限公司 | 一种基于机器视觉的船舶舱室智能检测方法及*** |
CN114821795A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及*** |
CN114821795B (zh) * | 2022-05-05 | 2022-10-28 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及*** |
CN117315550A (zh) * | 2023-11-29 | 2023-12-29 | 南京市特种设备安全监督检验研究院 | 自动扶梯乘客危险行为的检测方法 |
CN117315550B (zh) * | 2023-11-29 | 2024-02-23 | 南京市特种设备安全监督检验研究院 | 自动扶梯乘客危险行为的检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113361370B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111274916B (zh) | 人脸识别方法和人脸识别装置 | |
CN102324025B (zh) | 基于高斯肤色模型和特征分析的人脸检测与跟踪方法 | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及*** | |
CN104182772B (zh) | 一种基于深度学习的手势识别方法 | |
CN113361370A (zh) | 一种基于深度学习的异常行为检测方法 | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
CN107067413B (zh) | 一种时空域统计匹配局部特征的运动目标检测方法 | |
CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
CN110298297A (zh) | 火焰识别方法和装置 | |
CN107833239B (zh) | 一种基于加权模型约束的寻优匹配目标跟踪方法 | |
CN102495998B (zh) | 基于视觉选择性注意计算模型的静态目标检测方法 | |
CN106204658A (zh) | 运动图像跟踪方法及装置 | |
CN108537143B (zh) | 一种基于重点区域特征比对的人脸识别方法与*** | |
CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
Yu et al. | Improvement of face recognition algorithm based on neural network | |
CN106874825A (zh) | 人脸检测的训练方法、检测方法和装置 | |
Ibrahem et al. | Real-time weakly supervised object detection using center-of-features localization | |
Zhang et al. | Saliency detection via extreme learning machine | |
CN105631405B (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
Zhang et al. | TUnet-LBF: Retinal fundus image fine segmentation model based on transformer Unet network and LBF |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |