CN112364680B - 一种基于光流算法的异常行为检测方法 - Google Patents

一种基于光流算法的异常行为检测方法 Download PDF

Info

Publication number
CN112364680B
CN112364680B CN202010985851.1A CN202010985851A CN112364680B CN 112364680 B CN112364680 B CN 112364680B CN 202010985851 A CN202010985851 A CN 202010985851A CN 112364680 B CN112364680 B CN 112364680B
Authority
CN
China
Prior art keywords
optical flow
amplitude
entropy
histogram
abnormal behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010985851.1A
Other languages
English (en)
Other versions
CN112364680A (zh
Inventor
钱慧芳
郑萌萌
周璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202010985851.1A priority Critical patent/CN112364680B/zh
Publication of CN112364680A publication Critical patent/CN112364680A/zh
Application granted granted Critical
Publication of CN112364680B publication Critical patent/CN112364680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流算法的异常行为检测方法,具体按照以下步骤实施:步骤1、光流算法提取光流信息:采用Farneback密集光流算法提取人体运动时产生的光流信息;步骤2、行为特征的提取:将步骤1提取到的光流信息统计成方向幅值直方图;步骤3、结果分析和异常判定:通过计算直方图的方向和幅值熵来判断是否发生异常行为,直方图的方向和幅值熵越大,说明当前运动越混乱,表示发生异常行为的可能性越大,解决了现有技术中存在的容易出现异常行为的误判的问题。

Description

一种基于光流算法的异常行为检测方法
技术领域
本发明属于智能视频监控技术领域,涉及一种基于光流算法的异常行为检测方法。
背景技术
目前,停车场、火车站等公共场合将异常行为定义如下:与人体正常行走行为不同的具有运动速度快,运动方向杂乱特点的打架、抢劫行为定义为异常行为。
近些年来,很多公共场合经常发生一些打架、抢劫等快速的带有违法犯罪性质的行为,如停车场,火车站,商场等,这些行为严重地扰乱了社会公共秩序,同时也给人们带来很多人身伤害和财产损失。为了把危害降到最低,视频监控的研究也日渐得到关注。停车场、火车站,商场各种公共场合安装着无数的摄像头,给社会的安全带来了保障。如果在一些人口密集的公共场合,智能监控***在检测到异常情况下及时报警,可以有效保证广大群众的生命财产安全。
人体异常行为一般表现为运动速度异常和运动方向异常,传统的检测方法为特征提取方法存在检测效果不佳、容易出现异常行为的误判、计算方法复杂等问题。
发明内容
本发明的目的是提供一种基于光流算法的异常行为检测方法,解决了现有技术中存在的容易出现异常行为的误判的问题。
本发明所采用的技术方案是,一种基于光流算法的异常行为检测方法,具体按照以下步骤实施:
步骤1、光流算法提取光流信息:采用Farneback密集光流算法提取人体运动时产生的光流信息;
步骤2、行为特征的提取:将步骤1提取到的光流信息统计成方向幅值直方图;
步骤3、结果分析和异常判定:通过计算直方图的方向和幅值熵来判断是否发生异常行为,直方图的方向和幅值熵越大,说明当前运动越混乱,表示发生异常行为的可能性越大。
本发明的特点还在于:
步骤2具体按照以下步骤实施:
步骤2.1:平面直角坐标转换成极坐标
通过Farneback密集光流算法计算得到的帧间光流场是从视频图像得到的原始特征,一个光流矢量可以用一个四维的向量(x,y,u,v)表示,其中(x,y) 表示图像中光流矢量的空间位置信息,而(u,v)分别表示光流矢量在水平方向和垂直方向上的分量的大小;
步骤2.2:利用Matlab软件将光流的矢量信息转化为直方图
采用方向幅值直方图来描述人体运动时的行为,横坐标设置为若干个区间,每个区间的大小为纵坐标代表每个区间上幅值大小的统计值。
步骤2.1中,将光流矢量分量(u,v)从平面直角坐标形式转化成极坐标下的(r,θ)形式,经过计算分析可以得到光流的大小光流的方向/>
步骤2.2中,横坐标设置为12个区间。
步骤3具体按照以下步骤实施:
步骤3.1:设第i区间的幅值为hi,i区间的方向次数总和为si,计算方向和幅值的熵之前,首先要计算出各区间的方向和幅值的概率,计算公式如下:
Sdir:方向幅值直方图方向次数的总和;
Shyp:方向幅值直方图幅值的总和;
方向熵和幅值熵计算公式如下:
方向熵:
幅值熵:
方向熵,幅值熵均为判断是否存在异常行为的重要因素之一,所以可以将二者整合为一个式子,表示为以下式子:
W=ES×Eh
W越大,说明当前运动越混乱,表示发生异常行为的可能性越大。
本发明的有益效果是:本发明一种基于光流算法的异常行为检测方法,解决了现有技术中存在的检测效果不佳、容易出现异常行为的误判、计算方法复杂等问题;采用Farneback密集光流算法提取光流信息,通过人体运动时产生的光流信息对其行为进行分析,判断是否属于异常的行为。光流法不需要预先获取图像的背景,计算结果仅仅取决于连续帧的相对运动,不受复杂环境的影响;引入了熵的概念,熵在热力学中是用来描述物质的状态,其物理意义是表示一个体系的混乱程度。当出现异常行为时会存在身体各部位方向混乱等特点,因此可以采用熵值是否大于某一阈值来判断是否存在异常行为。
附图说明
图1是本发明一种基于光流算法的异常行为检测方法的流程图;
图2是本发明一种基于光流算法的异常行为检测方法的技术路线图;
图3a是本发明一种基于光流算法的异常行为检测方法的正常行走W曲线;
图3b是本发明一种基于光流算法的异常行为检测方法的打架行为W曲线;
图3c是本发明一种基于光流算法的异常行为检测方法的抢劫行为W曲线。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于光流算法的异常行为检测方法,如图1所示,具体按照以下步骤实施:
步骤1、光流算法提取光流信息:采用Farneback密集光流算法提取人体运动时产生的光流信息;
如图2所示,具体的,在OpenCV中使用calcOpticalFlowFarneback() 这个API来进行密集光流的计算,calcOpticalFlowFarneback这个函数的参数具体设置为(prvs,next,None,0.5,3,15,3,5,1.2,0),第一个参数表示输入前一帧图像,第二个参数表示输入后一帧图像,第三个参数表示输出的光流,第四个参数表示金字塔缩放参数,第五个参数表示金字塔层数,第六个参数表示窗口的大小,第七个参数表示迭代次数,第八个参数表示像素邻域大小,第九个参数表示高斯标准差,第十个参数flag,表示计算的方式。
步骤2、行为特征的提取:将步骤1提取到的光流信息统计成方向幅值直方图;
步骤2具体按照以下步骤实施:
步骤2.1:平面直角坐标转换成极坐标
通过Farneback密集光流算法计算得到的帧间光流场是从视频图像得到的原始特征,一个光流矢量可以用一个四维的向量(x,y,u,v)表示,其中(x,y) 表示图像中光流矢量的空间位置信息,而(u,v)分别表示光流矢量在水平方向和垂直方向上的分量的大小;步骤2.1中,将光流矢量分量(u,v)从平面直角坐标形式转化成极坐标下的(r,θ)形式,经过计算分析可以得到光流的大小光流的方向/>
步骤2.2:利用Matlab软件将光流的矢量信息转化为直方图
传统的方向直方图是一种非参数的估计方法,虽然它可以表示运动物体的光流特征,但是却忽略了光流信息中方向上幅值的变化,因此采用方向幅值直方图来描述人体运动时的行为,横坐标设置为若干个区间,每个区间的大小为纵坐标代表每个区间上幅值大小的统计值。步骤2.2中,横坐标设置为12个区间。
步骤3、结果分析和异常判定:通过计算直方图的方向和幅值熵来判断是否发生异常行为,直方图的方向和幅值熵越大,说明当前运动越混乱,表示发生异常行为的可能性越大。
步骤3具体按照以下步骤实施:
步骤3.1:设第i区间的幅值为hi,i区间的方向次数总和为si,计算方向和幅值的熵之前,首先要计算出各区间的方向和幅值的概率,计算公式如下:
Sdir:方向幅值直方图方向次数的总和;
Shyp:方向幅值直方图幅值的总和;
方向熵和幅值熵计算公式如下:
方向熵:
幅值熵:
方向熵,幅值熵均为判断是否存在异常行为的重要因素之一,所以可以将二者整合为一个式子,表示为以下式子:
W=ES×Eh
W越大,说明当前运动越混乱,表示发生异常行为的可能性越大。
本发明一种基于光流算法的异常行为检测方法中:步骤1的作用为提取视频序列图像中的光流特征。
采用Farneback密集光流算法提取光流特征,其原理是:首先假设相邻帧之间的亮度恒定,而且相邻视频帧的取帧时间连续,或者相邻帧之间物体的运动比较微小,同时保持空间一致性,即同一子图像的像素点具有相同的运动。Farneback密集光流的主要思想是利用多项式对每个像素的邻域信息进行近似表示,例如考虑二次多项式f(x)=xTAx+bTx+c,A是对称矩阵,b是向量,c是标量,f(x)表示为像素邻域信息的近似描述,A是通过像素的邻域信息的最小二乘加权拟合得到的,权重系数与邻域的像素大小和位置有关。如果前一帧的图像用表示,两帧图像的位移用d表示,那么/>因为图像场景中像素的外观信息在帧间运动时是不变化的,因此我们可以得到相同的对应系数,如果是非奇异的矩阵,那么位移/>再经过对误差的优化和调整结合图像金字塔对图像的特征点进行跟踪。
采用Farneback密集光流算法提取光流特征,其优点在于:密集光流算法可以计算图像上所有点的偏移量,形成密集的光流场,利用这种密集的光流场,可以进行像素级的图像配准,所以其配准后的效果也明显优于稀疏光流配准的效果。
实施例
1)本例中采用CASIA行为数据集,该数据集总共有1446个视频数据,是由室外停车场环境中分布在三个不同视角的摄像机拍摄而成。数据分为单人行为和多人交互行为,单人行为包括以下八种不同的行为:“步行”,“奔跑”,“弯腰走”,“跳跃”,“蹲下”,“晕倒”,“徘徊”和“砸车”,每种行为都有24人参与拍摄,每人大约4次。多人交互行为包括以下七种不同的行为:“抢劫”,“打架”,“尾随”,“追赶”,“碰头”,“会合”和“超越”,每两个人一次或者两次。视频中背景复杂,光线变化比较明显,帧率为25fps,分辨率为320×240,采用huffyuv编码压缩,视频以avi文件的形式存储。
在本实验中,将不同于人体正常行为(行走)的具有运动速度快,运动方向不一致特征的打架、抢劫行为定义为异常行为。
2)实验训练使用Windows 10***,处理器inter(R)Core(TM)i5-8250U [email protected] 1.80GHz,8.00GB的内存,集成开发环境是Pycharm,OpenCV 开源库和MatlabR2016a。
3)为了更加准确地提取运动区域内的光流信息,在传统光流的基础上引入了“有效光流”,即通过对光流幅值的筛选,只保留对异常行为检测“贡献”较大的光流点,而将其余的光流点舍去。
有效光流场可以由以下公式得到:
其中thre:筛选光流点的阈值,是经过多次实验之后选取的,本发明取 thre=0.3。
4)与正常行为相比,当出现打架,抢劫行为时,由于运动方向较混乱,动作激烈,W的值会增大,W值能够很好地反映出光流特征的变化,不同行为的W变化曲线如图3(a)~(c)所示。
(a)~(c)分别为一个场景内正常行走、打架和抢劫三种行为的W变化曲线,比较三种不同行为的W均值,正常行走的W均值较小,而打架,抢劫行为的W均值较大些,由此可见,W值对于正常行为和异常行为有较好的区分度,W值越大发生异常行为的可能性越大。
本发明一种基于光流算法的异常行为检测方法,解决了现有技术中存在的检测效果不佳、容易出现异常行为的误判、计算方法复杂等问题;采用 Farneback密集光流算法提取光流信息,通过人体运动时产生的光流信息对其行为进行分析,判断是否属于异常的行为。光流法不需要预先获取图像的背景,计算结果仅仅取决于连续帧的相对运动,不受复杂环境的影响;引入了熵的概念,熵在热力学中是用来描述物质的状态,其物理意义是表示一个体系的混乱程度。当出现异常行为时会存在身体各部位方向混乱等特点,因此可以采用熵值是否大于某一阈值来判断是否存在异常行为。

Claims (4)

1.一种基于光流算法的异常行为检测方法,其特征在于,具体按照以下步骤实施:
步骤1、光流算法提取光流信息:采用Farneback密集光流算法提取人体运动时产生的光流信息;
步骤2、行为特征的提取:将步骤1提取到的光流信息统计成方向幅值直方图;
步骤3、结果分析和异常判定:通过计算直方图的方向和幅值熵来判断是否发生异常行为,直方图的方向和幅值熵越大,说明当前运动越混乱,表示发生异常行为的可能性越大:
步骤3.1:设第i区间的幅值为hi,i区间的方向次数总和为si,计算方向和幅值的熵之前,首先要计算出各区间的方向和幅值的概率,计算公式如下:
Sdir:方向幅值直方图方向次数的总和;
Shyp:方向幅值直方图幅值的总和;
方向熵和幅值熵计算公式如下:
方向熵:
幅值熵:
方向熵,幅值熵均为判断是否存在异常行为的重要因素之一,所以可以将二者整合为一个式子,表示为以下式子:
W=ES×Eh
W越大,说明当前运动越混乱,表示发生异常行为的可能性越大。
2.根据权利要求1所述的一种基于光流算法的异常行为检测方法,其特征在于,所述步骤2具体按照以下步骤实施:
步骤2.1:平面直角坐标转换成极坐标
通过Farneback密集光流算法计算得到的帧间光流场是从视频图像得到的原始特征,一个光流矢量可以用一个四维的向量(x,y,u,v)表示,其中(x,y)表示图像中光流矢量的空间位置信息,而(u,v)分别表示光流矢量在水平方向和垂直方向上的分量的大小;
步骤2.2:利用Matlab软件将光流的矢量信息转化为直方图
采用方向幅值直方图来描述人体运动时的行为,横坐标设置为若干个区间,每个区间的大小为纵坐标代表每个区间上幅值大小的统计值。
3.根据权利要求2所述的一种基于光流算法的异常行为检测方法,其特征在于,所述步骤2.1中,将光流矢量分量(u,v)从平面直角坐标形式转化成极坐标下的(r,θ)形式,经过计算分析可以得到光流的大小光流的方向/>
4.根据权利要求2所述的一种基于光流算法的异常行为检测方法,其特征在于,所述步骤2.2中,横坐标设置为12个区间。
CN202010985851.1A 2020-09-18 2020-09-18 一种基于光流算法的异常行为检测方法 Active CN112364680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010985851.1A CN112364680B (zh) 2020-09-18 2020-09-18 一种基于光流算法的异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010985851.1A CN112364680B (zh) 2020-09-18 2020-09-18 一种基于光流算法的异常行为检测方法

Publications (2)

Publication Number Publication Date
CN112364680A CN112364680A (zh) 2021-02-12
CN112364680B true CN112364680B (zh) 2024-03-05

Family

ID=74516561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010985851.1A Active CN112364680B (zh) 2020-09-18 2020-09-18 一种基于光流算法的异常行为检测方法

Country Status (1)

Country Link
CN (1) CN112364680B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610012A (zh) * 2021-08-10 2021-11-05 腾讯音乐娱乐科技(深圳)有限公司 视频检测方法及电子设备和计算机可读存储介质
CN113537165B (zh) * 2021-09-15 2021-12-07 湖南信达通信息技术有限公司 一种行人打闹的检测方法和***
CN113870323B (zh) * 2021-09-30 2024-04-02 西安交通大学 一种基于光流信息熵的结构表面微小裂纹识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629384A (zh) * 2012-02-28 2012-08-08 成都三泰电子实业股份有限公司 视频监控中异常行为的检测方法
CN102880444A (zh) * 2012-08-24 2013-01-16 浙江捷尚视觉科技有限公司 一种基于立体视觉运动场分析的打架斗殴检测方法
CN103810718A (zh) * 2012-11-15 2014-05-21 浙江大华技术股份有限公司 一种剧烈运动目标检测方法和装置
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及***
CN106327791A (zh) * 2016-08-31 2017-01-11 朱明� 一种异常事件实时报警方法及***
CN106326840A (zh) * 2016-08-11 2017-01-11 电子科技大学 一种基于光流直方图熵的人群异常行为检测方法
CN107967440A (zh) * 2017-09-19 2018-04-27 北京工业大学 一种基于多区域变尺度3d-hof的监控视频异常检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007008021A1 (de) * 2007-02-15 2008-08-21 Tecdata Ag Verfahren zur Messung von Informationen
US8396268B2 (en) * 2010-03-31 2013-03-12 Isis Innovation Limited System and method for image sequence processing
AU2015268735A1 (en) * 2015-12-15 2017-06-29 Canon Kabushiki Kaisha Method, system and apparatus for spatially arranging a plurality of video frames for display
US10345046B2 (en) * 2017-05-25 2019-07-09 Northeastern University Fault diagnosis device based on common information and special information of running video information for electric-arc furnace and method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629384A (zh) * 2012-02-28 2012-08-08 成都三泰电子实业股份有限公司 视频监控中异常行为的检测方法
CN102880444A (zh) * 2012-08-24 2013-01-16 浙江捷尚视觉科技有限公司 一种基于立体视觉运动场分析的打架斗殴检测方法
CN103810718A (zh) * 2012-11-15 2014-05-21 浙江大华技术股份有限公司 一种剧烈运动目标检测方法和装置
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及***
CN106326840A (zh) * 2016-08-11 2017-01-11 电子科技大学 一种基于光流直方图熵的人群异常行为检测方法
CN106327791A (zh) * 2016-08-31 2017-01-11 朱明� 一种异常事件实时报警方法及***
CN107967440A (zh) * 2017-09-19 2018-04-27 北京工业大学 一种基于多区域变尺度3d-hof的监控视频异常检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Huifang Qian 等.Abnormal Behavior Detection and Recognition Method Based on Improved ResNet Model.《CMC-Computers, Materials & Continua》.2020,第65卷(第3期),2153-2167. *
Rensso Victor Hugo Mora Colque 等.Histograms of Optical Flow Orientation and Magnitude and Entropy to Detect Anomalous Events in Videos.《IEEE Transactions on Circuits and Systems for Video Technology》.2017,第27卷(第3期),376-682. *
基于光流法的深度学习在工业运动检测的应用;周曼 等;《自动化与仪表》;第34卷(第7期);第1-2节 *
基于监控视频的异常事件识别;丁茜 等;《光学仪器》;第41卷(第1期);第2-3节 *
王燕妮 等.关键帧结合幅值直方图熵的异常行为检测算法.《计算机与数字工程》.2019,第47卷(第9期),2281-2285. *
视频监控***中异常行为检测软件设计与实现;安井然;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-1062 *

Also Published As

Publication number Publication date
CN112364680A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112364680B (zh) 一种基于光流算法的异常行为检测方法
Wen et al. Detection, tracking, and counting meets drones in crowds: A benchmark
WO2020173226A1 (zh) 一种时空行为检测方法
EP2918071B1 (en) System and method for processing visual information for event detection
US20190130583A1 (en) Still and slow object tracking in a hybrid video analytics system
CN106980829B (zh) 基于视频分析的打架斗殴异常行为自动检测方法
WO2016173277A9 (zh) 视频编码方法、解码方法及其装置
CN106203513B (zh) 一种基于行人头肩多目标检测及跟踪的统计方法
Zhu et al. Video anomaly detection for smart surveillance
CN111144247A (zh) 一种基于深度学习的自动扶梯乘客逆行检测方法
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
CN103235944A (zh) 人群流分割及人群流异常行为识别方法
CN108320300A (zh) 一种融合粒子滤波的时空上下文视觉跟踪方法
CN112380905B (zh) 一种基于监控视频的直方图结合熵的异常行为检测方法
Hu et al. A novel approach for crowd video monitoring of subway platforms
Yu et al. A robust method for detecting and counting people
Min et al. Human fall detection using normalized shape aspect ratio
Guo et al. Pedestrian violence detection based on optical flow energy characteristics
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
Lin et al. Compressed-domain fall incident detection for intelligent homecare
CN105989615A (zh) 一种基于多特征融合的行人跟踪方法
CN112307895A (zh) 一种社区监控场景下人群聚集异常行为检测方法
CN112580633B (zh) 一种基于深度学习的公共交通客流统计装置及方法
Makantasis et al. Student-t background modeling for persons' fall detection through visual cues
Lee et al. Modeling crowd motions for abnormal activity detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant