CN108596028B - 一种基于视频录像中的异常行为检测算法 - Google Patents

一种基于视频录像中的异常行为检测算法 Download PDF

Info

Publication number
CN108596028B
CN108596028B CN201810224910.6A CN201810224910A CN108596028B CN 108596028 B CN108596028 B CN 108596028B CN 201810224910 A CN201810224910 A CN 201810224910A CN 108596028 B CN108596028 B CN 108596028B
Authority
CN
China
Prior art keywords
acceleration
point
video
crowd
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810224910.6A
Other languages
English (en)
Other versions
CN108596028A (zh
Inventor
宋耀莲
马丽华
徐文林
王慧东
武双新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201810224910.6A priority Critical patent/CN108596028B/zh
Publication of CN108596028A publication Critical patent/CN108596028A/zh
Application granted granted Critical
Publication of CN108596028B publication Critical patent/CN108596028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视频录像中的异常行为检测算法，属于智能视频检测预警领域。本发明首先将视频进行前景提取并对人群进行网格划分，利用光流法计算速度矩阵进而得到加速度矩阵，再根据加速度的大小和方向来确定人群异常的中心监测点；然后再利用机器学习进行人群中人脸的面部特征提取；最后根据机器学习训练得到的阈值对照已经识别到的中心监测点进行检测，进而判断出该中心检测点的人群是否正处于异常行为。如果检测出人群中发生了暴击，聚众闹事以及类似危险性事件等异常行为时，视频监测就会对此进行报警。本发明不仅克服了由于异常行为情况复杂难以进行检测的问题，而且还在一定程度上能够预测出异常行为的发生。

Description

一种基于视频录像中的异常行为检测算法
技术领域
本发明涉及一种基于视频录像中的异常行为检测算法，属于智能视频检测预警技术领域。
背景技术
随着社会的不断发展，很多人群聚集的场所容易产生安全问题，比如暴力安全问题，聚众斗殴以及抢劫等各种事件都是存在的安全隐患。因此视频监控就成为保证公共场所安全必不可少的设备，视频监控***的存在在一定程度上减少了时间发生的概率，但是同样耗费人力物力，需要工作人员不定时地观看视频进而才能发现事件发生的地点。
发明内容
本发明要解决的技术问题是提供一种基于视频录像中的异常行为检测算法，提供了一种合理、实时性好、精确度高的筛选方案，不仅克服了监控范围广，异常行为模式复杂难以进行检测的问题，而且还在一定程度上能够预测出异常行为的发生，可以起到报警的作用，提高监控的适用范围和作用。
本发明采用的技术方案是：一种基于视频录像中的异常行为检测算法，包括如下步骤：
Step1，针对所提供的视频录像进行前景提取；
Step2，针对Step1处理后的视频录像进行网格化处理；
Step3，对Step2处理后的视频录像进行特征点提取，并且利用光流法进行追踪，得到速度矩阵；
Step4，得到加速度的大小a和方向角β，进而得到加速度矩阵；
Step5，通过分析加速度的方向角，得到相邻两帧图像中同一个微粒不同时刻加速度方向变化所成的角度β′，并通过β′分布的区域得到每个区域内微粒点所占比例m；得到的加速度a和占比m分别与之前设置好的a*和m*作对比，如果|a|＞|a*|且m＜m*就可以将该点位置判断为是异常行为发生地O1点，即为中心监测点，O1点坐标为(xo1,yo1)，a*是提前设置的人群正常时的最大加速度，m*是提前设置的对比参数，m＜m*时说明人群没有一个确定的加速度方向，处于杂乱无章的状态，不存在异常行为；
Step6，通过机器学习建立模型，模型是根据经典案例和大量的数据进行训练得到人群变化比率标准值ρ*；
Step7，首先定义表情变化率为ρ
Figure BDA0001601048330000021
n表示人群中表示特征变化程度超过一般值上限的人数，N表示提取的目标人群总的人数，
然后根据经典法对Step2处理后的已经网格化处理过的视频录像进行面部特征提取，将提取的面部表情输入Step6建立的模型中得到表情变化率ρ，将出ρ与ρ*的值做对比，若ρ大于ρ*则认为该视频中的提取人面部表情的这个区域点O2处于异常，O2点坐标为(xo2,yo2)；
Step8，将O2点坐标(xo2,yo2)与O1点坐标(xo1,yo1)进行对比，在一定的误差允许范围内可以认为两点表示的是同一个发生地，则可以明确该点为中心监测点也就是异常事件发生点O。
具体地，所述的步骤Step1具体包括：
利用帧差分法对前景进行提取，将目标对象和背景区分开；
帧差分法利用相邻帧之间的图像序列进行操作，对图像的像素点的灰度值取绝对值，再通过与阈值进行比较从而得到了运动前景信息，也就实现了前景的提取，相邻帧的图像差分值计算如下
D(x,y,i)＝|I(x,y,i+1)-I(x,y,i)| (1-1)
其中D(x,y,i)表示图像的差分值，I(x,y,i+1)表示第i+1帧的灰度值，I(x,y,i)表示第i帧的灰度值，当图像差分后某一点的像素值大于某一个预设的阈值，此时说明该点是属于前景点，否则属于背景点。
具体地，所述的步骤Step2中视频录像网格化处理的步骤具体包括：
Step2.1：提取视频在t时刻图像的帧画面，记为Ft；
Step2.2：将整个帧画面按照p1*p2来划分成一系列的小格子。
具体地，所述的步骤Step3具体包括：
Step3.1：计算速度大小vt
在Step2划分好的小网格的基础上选取某一运动前景目标作为特征提取目标，假设该目标A为一微粒，在t时刻该微粒所在位置像素坐标At为(xt,yt)，在经过时间τ，对应t+τ时刻的帧画面Ft+τ的微粒所在位置像素坐标At+τ为(xt+τ,yt+τ)；
Step3.1.1：由相邻两帧之间微粒所在位置的坐标关系可知，微粒点At水平和垂直方向上的位移分别为(1-2)、(1-3)：
Δx＝xt+τ-xt (1-2)
Δy＝yt+τ-yt (1-3)
根据矢量计算方法可得在t时刻At点的速度大小为
Figure BDA0001601048330000031
利用(1-4)即可计算出该点该时刻的速度大小vt；
Step3.1.2：近似假设τ为0，因为相邻帧的时间间隔很短可以忽略不计，这样可以将(1-4)式简化为(1-5)的形式
Figure BDA0001601048330000032
Step3.2：计算速度方向θt
利用Step3.1.1中的坐标以及位移(1-2)和(1-3)计算得到速度的方向θt，由速度矢量与水平方向的夹角表示，
θt＝arctan(Δy/Δx) (1-6)
θt取值范围为[-π,π]
Step3.3：根据Step3.1和Step3.2的步骤对视频画面帧中的每个特征点都进行一一处理，得到相对应的速度大小矩阵和速度方向矩阵。
具体地，所述的Step4中求得加速度矩阵的步骤如下：
Step4.1：计算加速度的大小a
在Step3中根据(1-4)式可以计算出在t时刻At点的速度大小为vt，经过时间τ后再根据(1-4)式计算得在t+τ时刻At+τ点的速度大小为vt+τ，在时间τ内速度的变化量为
Δv＝vt+τ-vt (1-7)
根据加速度的计算公式可得加速度大小为
a＝Δv/τ (1-8)
又τ可近似忽略不计，所以可以近似认为加速度a＝Δv
由四边形法则得
Figure BDA0001601048330000041
且
Figure BDA0001601048330000042
Step4.2：计算加速度的方向β
β＝arctan(Δvy/Δvx) (1-11)
β取值范围为[-π,π]
Step4.3：根据Step4.1和Step4.2的步骤对视频画面帧中的每个微粒点都进行一一处理，得到相对应的加速度大小矩阵和加速度方向矩阵。
具体地，所述的Step5具体包括如下步骤：
Step5.1：其中a*是提前设置的人群正常时的最大加速度，当a超过a*时表明人群的加速度已经处于异常状态，此时再判断加速度的方向是否处于异常状态；
Step5.2：β’是相邻两帧图像中同一个微粒不同时刻加速度方向变化所成的角度，m是通过β’分布的区域得到每个区域内微粒点所占比例；将2π划分为四个象限，每个象限再划分为两个区域，根据当前帧微粒点的加速度方向矩阵，统计每个小区间内微粒点的的数量占总体数量的比例mi，当mi大于预先设定的m*时说明大部分人群的流动方向是一致的，人群可以看作是处于正常状态的，反之就可以看做是处于异常状态；
Step5.3：当加速度大小和方向均处于异常状态时就可以判断该位置点O1(xo1,yo1)为中心监测点。
具体地，所述的Step8的具体步骤是：
对Step5和Step7得到的O1(xo1,yo1)和O2(xo2,yo2)两个点坐标进行分析，
当O1和O2两个中心点的距离d≤d*时就可以认为这两个中心监测点为同一个位置，
Figure BDA0001601048330000043
d*表示提前设置好的阈值上限，最终根据O1和O2确定中心点O，O点坐标为(x0,yo)
Figure BDA0001601048330000044
由上确定了异常事件发生点O。
本发明的有益效果是：
1、本发明专利，实现了一种基于视频录像中的异常行为检测算法，该算法结合了光流法计算加速度来判断人群异常和机器学习的再次检测实现了人群异常检测的目标，提高了准确度。
2、本发明专利在很大程度上能够智能的提醒工作人员进行预警处理，降低了社会安全事件的发生。
本发明的有益效果是：
(1)本发明的方法能够估算出周期长度；
(2)本发明的方法能够检测出周期和准周期以及混沌三种状态；
(3)本发明的方法能够在计算过程中随时修改参数以及便于观察时间序列的运动状态与过程。
附图说明
图1为本发明中的具体流程图；
图2为本发明Step5中人群流动简易分布图。
图3为本发明机器学习异常行为检测模型建立的过程图；
图4为本发明机器学习异常行为检测模型中学习模型部分建立的流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步说明。
实施例1：如图1-4所示，一种基于视频录像中的异常行为检测算法，包括如下步骤：
Step1，针对所提供的视频录像进行前景提取；
Step2，针对Step1处理后的视频录像进行网格化处理；
Step3，对Step2处理后的视频录像进行特征点提取，并且利用光流法进行追踪，得到速度矩阵；
Step4，得到加速度的大小a和方向角β，进而得到加速度矩阵；
Step5，通过分析加速度的方向角，得到相邻两帧图像中同一个微粒不同时刻加速度方向变化所成的角度β’，并通过β’分布的区域得到每个区域内微粒点所占比例m；得到的加速度a和占比m分别与之前设置好的a*和m*作对比，如果|a|＞|a*|且m＜m*就可以将该点位置判断为是异常行为发生地O1点，即为中心监测点，O1点坐标为(xo1,yo1)，a*是提前设置的人群正常时的最大加速度，m*是提前设置的对比参数，m＜m*时说明人群没有一个确定的加速度方向，处于杂乱无章的状态，不存在异常行为；
m*是一个对比参数，是提前已经设置好的，一般按照常规来讲设置为50％，与它作对比的是前后两帧速度方向变化β’的大小在区域中所占比例m，
Step6，通过机器学习建立模型，模型是根据经典案例和大量的数据进行训练得到人群变化比率标准值ρ*；
Step7，首先定义表情变化率为ρ
Figure BDA0001601048330000061
n表示人群中表示特征变化程度超过一般值上限的人数，N表示提取的目标人群总的人数，
然后根据经典法对Step2处理后的已经网格化处理过的视频录像进行面部特征提取，将提取的面部表情输入Step6建立的模型中得到表情变化率ρ，将出ρ与ρ*的值做对比，若ρ大于ρ*则认为该视频中的提取人面部表情的这个区域点O2处于异常，O2点坐标为(xo2,yo2)；
Step8，将O2点坐标(xo2,yo2)与O1点坐标(xo1,yo1)进行对比，在一定的误差允许范围内可以认为两点表示的是同一个发生地，则可以明确该点为中心监测点也就是异常事件发生点O。
进一步地，所述的步骤Step1具体包括：
利用帧差分法对前景进行提取，将目标对象和背景区分开；
帧差分法利用相邻帧之间的图像序列进行操作，对图像的像素点的灰度值取绝对值，再通过与阈值进行比较从而得到了运动前景信息，也就实现了前景的提取，相邻帧的图像差分值计算如下
D(x,y,i)＝|I(x,y,i+1)-I(x,y,i)| (1-1)
其中D(x,y,i)表示图像的差分值，I(x,y,i+1)表示第i+1帧的灰度值，I(x,y,i)表示第i帧的灰度值，当图像差分后某一点的像素值大于某一个预设的阈值，此时说明该点是属于前景点，否则属于背景点。
利用帧差分法对前景进行提取，本发明中用到的帧差分法对于环境的光照敏感度比较小，所以在一定程度上降低了环境对结果的影响，通过帧差分法可以将前景目标的轮廓提取出来。前景提取是进行人群异常检测的基础，只有将目标对象和背景区分开来才能更好的进行下一步视频录像的网格划分。差分法用于视频帧之间运算速度更快。
进一步地，所述的步骤Step2中视频录像网格化处理的步骤具体包括：
Step2.1：提取视频在t时刻图像的帧画面，记为Ft；
Step2.2：将整个帧画面按照p1*p2来划分成一系列的小格子。
具体地，所述的步骤Step3具体包括：
Step3.1：计算速度大小vt
在Step2划分好的小网格的基础上选取某一运动前景目标作为特征提取目标，假设该目标A为一微粒，在t时刻该微粒所在位置像素坐标At为(xt,yt)，在经过时间τ，对应t+τ时刻的帧画面Ft+τ的微粒所在位置像素坐标At+τ为(xt+τ,yt+τ)；
Step3.1.1：由相邻两帧之间微粒所在位置的坐标关系可知，微粒点At水平和垂直方向上的位移分别为(1-2)、(1-3)：
Δx＝xt+τ-xt (1-2)
Δy＝yt+τ-yt (1-3)
根据矢量计算方法可得在t时刻At点的速度大小为
Figure BDA0001601048330000071
利用(1-4)即可计算出该点该时刻的速度大小vt；
Step3.1.2：近似假设τ为0，因为相邻帧的时间间隔很短可以忽略不计，这样可以将(1-4)式简化为(1-5)的形式
Figure BDA0001601048330000072
Step3.2：计算速度方向θt
利用Step3.1.1中的坐标以及位移(1-2)和(1-3)计算得到速度的方向θt，由速度矢量与水平方向的夹角表示，
θt＝arctan(Δy/Δx) (1-6)
θt取值范围为[-π,π]
Step3.3：根据Step3.1和Step3.2的步骤对视频画面帧中的每个特征点都进行一一处理，得到相对应的速度大小矩阵和速度方向矩阵。
进一步地，所述的Step4中求得加速度矩阵的步骤如下：
Step4.1：计算加速度的大小a
在Step3中根据(1-4)式可以计算出在t时刻At点的速度大小为vt，经过时间τ后再根据(1-4)式计算得在t+τ时刻At+τ点的速度大小为vt+τ，在时间τ内速度的变化量为
Δv＝vt+τ-vt (1-7)
根据加速度的计算公式可得加速度大小为
a＝Δv/τ (1-8)
又τ可近似忽略不计，所以可以近似认为加速度a＝Δv
由四边形法则得
Figure BDA0001601048330000081
且
Figure BDA0001601048330000082
Step4.2：计算加速度的方向β
β＝arctan(Δvy/Δvx) (1-11)
β取值范围为[-π,π]
Step4.3：根据Step4.1和Step4.2的步骤对视频画面帧中的每个微粒点都进行一一处理，得到相对应的加速度大小矩阵和加速度方向矩阵。
进一步地，所述的Step5具体包括如下步骤：
Step5.1：其中a*是提前设置的人群正常时的最大加速度，当a超过a*时表明人群的加速度已经处于异常状态，此时再判断加速度的方向是否处于异常状态；
Step5.2：β’是相邻两帧图像中同一个微粒不同时刻加速度方向变化所成的角度，m是通过β’分布的区域得到每个区域内微粒点所占比例；将2π划分为四个象限，每个象限再划分为两个区域，根据当前帧微粒点的加速度方向矩阵，统计每个小区间内微粒点的的数量占总体数量的比例mi，当mi大于预先设定的m*时说明大部分人群的流动方向是一致的，人群可以看作是处于正常状态的，反之就可以看做是处于异常状态；
Step5.3：当加速度大小和方向均处于异常状态时就可以判断该位置点O1(xo1,yo1)为中心监测点。
进一步地，所述的Step8的具体步骤是：
对Step5和Step7得到的O1(xo1,yo1)和O2(xo2,yo2)两个点坐标进行分析，
当O1和O2两个中心点的距离d≤d*时就可以认为这两个中心监测点为同一个位置，
Figure BDA0001601048330000091
d*表示提前设置好的阈值上限，最终根据O1和O2确定中心点O，O点坐标为(x0,yo)
Figure BDA0001601048330000092
由上确定了异常事件发生点O。
Step6中，为了提高时间预测的精确度本发明提出了基于机器学习的方法，通过机器学习建立模型，模型的建立是根据经典案例和通过大量的数据分析以及实验所得；视频包括有异常行为发生的现象和正常情况下的，具体的将这些视频先分为两部，一部分用于检测模型的建立，一部分用于检测模型的正确性，再根据检测的结果进行优化，以达到模型的准确性。
Step7中，利用Step6中所提到的模型再进行判断异常事件发生点，先根据经典法对视频中已经网格化处理过的视频录像进行面部特征提取，人的面部表情在面对不同事情的时候变化是比较大的，当发生意外事件比如危险性的暴击事件以及聚众闹事事件时微表情变化还是很大的。通过面部表情的提取以及人群中表情变化比例ρ来进一步的判断O2点是否存在异常事件发生；
如图1所示，首先获取帧视频画面之后进行前景提取，然后将将视频网格化处理将目标看做微粒点，利用光流法对微粒点的速度和方向进行特征提取，进而得到相应的加速度矩阵，通过分析加速度的大小和方向变化以及相应的分布布局进而判断出监测点O1是否为目标点即中心检测点。为了提高精确度，利用机器学习建立简易模型，通过检测人脸的面部微表情变化占比率ρ，以及数值比较得出该监测点O2是否为异常点，如果两个监测点均为异常点，根据两点的坐标位置进一步中心监测点的位置。
图2表示通过微粒的运动方向和大小获取的加速度，在判断其方向变化分布时的简易分布图：将整个平面空间划分为四个象限，再将四个象限分别划分为两个区域，根据相邻两帧同一个微粒点加速度方向变化角度在空间内的分布以及每个象限内落入的微粒点数占总数的比例m来判断人群的加速度是否处于异常。当m大于预先设定的m*时说明大部分人群的流动方向是一致的，有序的运动，可以看作是处于正常状态的，反之就可以看做是处于异常状态。
图3表示机器学习异常行为检测模型建立的过程，将导入的经典案例视频进行分类，分为两大部分，一部分用于模型的建立，一部分用于检测已经建立好的模型是否能够判断正确；在检测的过程中无疑会出现误差或者其他的问题，相应的对学习模型进行优化，以达到预期的目标。
图4表示机器学习异常行为检测模型中学习模型部分建立的过程，视频在开始就已经被标识上是否处于异常状态，将已知的视频导入根据人脸部特征做出的初步模型，根据视频中的目标特征的对比以及分析，对画面进行初步的评估，判断是否处于异常状态，经过不断的测试和训练，对模型中的参数进行优化和改变，最终得到学习模型。
本发明提供了一种合理、实时性好、精确度高的筛选方案，不仅克服了监控范围广，异常行为模式复杂难以进行检测的问题，而且还在一定程度上能够预测出异常行为的发生，提高智能监控的适用范围和作用。本发明利用智能化电子设备来监测视频中的异常行为，然后对相关工作人员进行报警，这样就可以有效的利用智能视频监控***来避免暴力行为等一系列安全隐患的发生，节省了人力物力财力。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于视频录像中的异常行为检测算法，其特征在于：包括如下步骤：
Step1，针对所提供的视频录像进行前景提取；
Step2，针对Step1处理后的视频录像进行网格化处理；
Step3，对Step2处理后的视频录像进行特征点提取，并且利用光流法进行追踪，得到速度矩阵；
Step4，得到加速度的大小a和方向角β，进而得到加速度矩阵；
Step5，通过分析加速度的方向角，得到相邻两帧图像中同一个微粒不同时刻加速度方向变化所成的角度β′，并通过β′分布的区域得到每个区域内微粒所占比例m；得到的加速度a和占比m分别与之前设置好的a*和m*作对比，如果|a|＞|a*|且m＜m*就可以将该点位置判断为是异常行为发生地O1点，即为中心监测点，O1点坐标为(xo1,yo1)，a*是提前设置的人群正常时的最大加速度，m*是提前设置的对比参数，m<m*时说明人群没有一个确定的加速度方向，处于杂乱无章的状态，不存在异常行为；
Step6，通过机器学习建立模型，模型是根据经典案例和大量的数据进行训练得到人群变化比率标准值ρ*；
Step7，首先定义表情变化率为ρ
Figure FDA0003331450460000011
n表示人群中表示特征变化程度超过一般值上限的人数，N表示提取的目标人群总的人数，
然后根据经典法对Step2处理后的已经网格化处理过的视频录像进行面部特征提取，将提取的面部表情输入Step6建立的模型中得到表情变化率ρ，将ρ与ρ*的值做对比，若ρ大于ρ*则认为该视频中的提取人面部表情的这个区域点O2处于异常，O2点坐标为(xo2,yo2)；
Step8，将O2点坐标(xo2,yo2)与O1点坐标(xo1,yo1)进行对比，在一定的误差允许范围内可以认为两点表示的是同一个发生地；
所述的步骤Step1具体包括：
利用帧差分法对前景进行提取，将目标对象和背景区分开；
帧差分法利用相邻帧之间的图像序列进行操作，对图像的像素点的灰度值取绝对值，再通过与阈值进行比较从而得到了运动前景信息，也就实现了前景的提取，相邻帧的图像差分值计算如下
D(x,y,i)＝|I(x,y,i+1)-I(x,y,i)| (1-1)
其中D(x,y,i)表示图像的差分值，I(x,y,i+1)表示第i+1帧的灰度值，I(x,y,i)表示第i帧的灰度值，当图像差分后某一点的像素值大于某一个预设的阈值，此时说明该点是属于前景点，否则属于背景点；
所述的步骤Step2中视频录像网格化处理的步骤具体包括：
Step2.1：提取视频在t时刻图像的帧画面，记为Ft；
Step2.2：将整个帧画面按照p1*p2来划分成一系列的小格子；
所述的Step8的具体步骤是：
对Step5和Step7得到的O1(xo1,yo1)和O2(xo2,yo2)两个点坐标进行分析，
当O1和O2两个中心监 测点的距离d≤d*时就可以认为这两个中心监测点为同一个位置，
Figure FDA0003331450460000021
d*表示提前设置好的阈值上限，最终根据O1和O2确定中心点O，O点坐标为(x0,yo)
Figure FDA0003331450460000022
由上确定了异常事件发生点O。
2.根据权利要求1所述的一种基于视频录像中的异常行为检测算法，其特征在于：所述的步骤Step3具体包括：
Step3.1：计算速度大小vt
在Step2划分好的小网格的基础上选取某一运动前景目标作为特征提取目标，假设该目标A为一微粒，在t时刻该微粒所在位置像素坐标At为(xt,yt)，在经过时间τ，对应t+τ时刻的帧画面Ft+τ的微粒所在位置像素坐标At+τ为(xt+τ,yt+τ)；
Step3.1.1：由相邻两帧之间微粒所在位置的坐标关系可知，微粒At水平和垂直方向上的位移分别为(1-2)、(1-3)：
Δx＝xt+τ-xt (1-2)
Δy＝yt+τ-yt (1-3)
根据矢量计算方法可得在t时刻At点的速度大小为
Figure FDA0003331450460000031
利用(1-4)即可计算出该点该时刻的速度大小vt；
Step3.1.2：近似假设τ为0，因为相邻帧的时间间隔很短可以忽略不计，这样可以将(1-4)式简化为(1-5)的形式
Figure FDA0003331450460000032
Step3.2：计算速度方向θt
利用Step3.1.1中的坐标以及位移(1-2)和(1-3)计算得到速度的方向θt，由速度矢量与水平方向的夹角表示，
θt＝arctan(Δy/Δx) (1-6)
θt取值范围为[-π,π]
Step3.3：根据Step3.1和Step3.2的步骤对视频画面帧中的每个特征点都进行一一处理，得到相对应的速度大小矩阵和速度方向矩阵。
3.根据权利要求2所述的一种基于视频录像中的异常行为检测算法，其特征在于：所述的Step4中求得加速度矩阵的步骤如下：
Step4.1：计算加速度的大小a
在Step3中根据(1-4)式可以计算出在t时刻At点的速度大小为vt，经过时间τ后再根据(1-4)式计算得在t+τ时刻At+τ点的速度大小为vt+τ，在时间τ内速度的变化量为
Δv＝vt+τ-vt (1-7)
根据加速度的计算公式可得加速度大小为
a＝Δv/τ (1-8)
又τ可近似忽略不计，所以可以近似认为加速度a＝Δv
由四边形法则得
Figure FDA0003331450460000041
且
Figure FDA0003331450460000042
Step4.2：计算加速度的方向角β
β＝arctan(Δvy/Δvx) (1-11)
β取值范围为[-π,π]
Step4.3：根据Step4.1和Step4.2的步骤对视频画面帧中的每个微粒都进行一一处理，得到相对应的加速度大小矩阵和加速度方向矩阵。
4.根据权利要求1所述的一种基于视频录像中的异常行为检测算法，其特征在于：所述的Step5具体包括如下步骤：
Step5.1：其中a*是提前设置的人群正常时的最大加速度，当a超过a*时表明人群的加速度已经处于异常状态，此时再判断加速度的方向是否处于异常状态；
Step5.2：β’是相邻两帧图像中同一个微粒不同时刻加速度方向变化所成的角度，m是通过β′分布的区域得到每个区域内微粒所占比例；将2π划分为四个象限，每个象限再划分为两个区域，根据当前帧微粒的加速度方向矩阵，统计每个小区间内微粒的数量占总体数量的比例mi，当mi大于预先设定的m*时说明大部分人群的流动方向是一致的，人群可以看作是处于正常状态的，反之就可以看做是处于异常状态；
Step5.3：当加速度大小和方向均处于异常状态时就可以判断该位置点O1(xo1,yo1)为中心监测点。
CN201810224910.6A 2018-03-19 2018-03-19 一种基于视频录像中的异常行为检测算法 Active CN108596028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810224910.6A CN108596028B (zh) 2018-03-19 2018-03-19 一种基于视频录像中的异常行为检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810224910.6A CN108596028B (zh) 2018-03-19 2018-03-19 一种基于视频录像中的异常行为检测算法

Publications (2)

Publication Number Publication Date
CN108596028A CN108596028A (zh) 2018-09-28
CN108596028B true CN108596028B (zh) 2022-02-08

Family

ID=63626549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810224910.6A Active CN108596028B (zh) 2018-03-19 2018-03-19 一种基于视频录像中的异常行为检测算法

Country Status (1)

Country Link
CN (1) CN108596028B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368089B (zh) * 2018-12-25 2023-04-25 ***通信集团浙江有限公司 一种基于知识图谱的业务处理方法及装置
CN110225299B (zh) * 2019-05-06 2022-03-04 平安科技（深圳）有限公司 视频监测方法、装置、计算机设备及存储介质
CN110298327B (zh) * 2019-07-03 2021-09-03 北京字节跳动网络技术有限公司 一种视觉特效处理方法及装置、存储介质与终端
CN110274590B (zh) * 2019-07-08 2022-10-28 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及***
CN111159478A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 一种基于视频解析的事件预测方法、装置及其介质和***
CN111695404B (zh) * 2020-04-22 2023-08-18 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质
CN111814775B (zh) * 2020-09-10 2020-12-11 平安国际智慧城市科技股份有限公司 目标对象异常行为识别方法、装置、终端及存储介质
CN114581824A (zh) * 2022-02-25 2022-06-03 南京邮电大学 一种基于视频检测技术的分拣中心异常行为的识别方法
CN114821808B (zh) * 2022-05-18 2023-05-26 湖北大学 一种攻击行为预警方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732236A (zh) * 2015-03-23 2015-06-24 中国民航大学 一种基于分层处理的人群异常行为智能检测方法
CN105608440A (zh) * 2016-01-03 2016-05-25 复旦大学 基于最小化误差的面部微表情序列特征抽取方法
KR20170051196A (ko) * 2015-10-29 2017-05-11 주식회사 세코닉스 3채널 차량 상황 감시 장치 및 그 방법
CN107483887A (zh) * 2017-08-11 2017-12-15 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732236A (zh) * 2015-03-23 2015-06-24 中国民航大学 一种基于分层处理的人群异常行为智能检测方法
KR20170051196A (ko) * 2015-10-29 2017-05-11 주식회사 세코닉스 3채널 차량 상황 감시 장치 및 그 방법
CN105608440A (zh) * 2016-01-03 2016-05-25 复旦大学 基于最小化误差的面部微表情序列特征抽取方法
CN107483887A (zh) * 2017-08-11 2017-12-15 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automated video-based facial expression analysis of neuropsychiatric disorders;Peng Wang et al.;《Journal of Neuroscience Methods》;20081231;第224-238页 *
公共场所人群加速度异常检测***;华斌等;《安全与环境学报》;20170630;第17卷(第3期);第1043-1045页 *
基于条件随机场模型的异常行为检测方法研究;刘皓;《中国博士学位论文全文数据库 信息科技辑》;20150615(第06期);第6-11、91页 *

Also Published As

Publication number Publication date
CN108596028A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596028B (zh) 一种基于视频录像中的异常行为检测算法
Zhang et al. Combining motion and appearance cues for anomaly detection
CN108230364B (zh) 一种基于神经网络的前景物体运动状态分析方法
Andrade et al. Hidden markov models for optical flow analysis in crowds
Jiansheng Vision-based real-time traffic accident detection
US20070098222A1 (en) Scene analysis
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN104680557A (zh) 视频序列图像中的异常行为智能检测方法
CN107657244A (zh) 一种基于多摄像机的人体跌倒行为检测***及其检测方法
CN103246896A (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN105096344B (zh) 基于cd运动特征的群体行为识别方法及***
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及***
Chen et al. Traffic extreme situations detection in video sequences based on integral optical flow
CN107424170B (zh) 自动探测监控视频中局部异常行为的运动特征描述方法
CN112464546A (zh) 基于动态数据分析的公共空间行人流运动风险判别方法
CN117409347A (zh) 一种基于esnn的早期火灾检测方法
CN116189089A (zh) 智能视频监控方法及***
Wang et al. Anomaly detection in crowd scene using historical information
CN111881863B (zh) 一种区域群体异常行为检测方法
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
Bejinariu et al. Analysis of Abnormal Crowd Movements based on Features Tracking
Luo et al. Real-time detection algorithm of abnormal behavior in crowds based on Gaussian mixture model
Akella et al. Crowd density analysis and suspicious activity detection
Mahin et al. A simple approach for abandoned object detection
Moayed et al. Traffic intersection monitoring using fusion of GMM-based deep learning classification and geometric warping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant