CN108460320A - 基于改进单元分析的监控视频异常事件检测方法 - Google Patents

基于改进单元分析的监控视频异常事件检测方法 Download PDF

Info

Publication number
CN108460320A
CN108460320A CN201711373999.4A CN201711373999A CN108460320A CN 108460320 A CN108460320 A CN 108460320A CN 201711373999 A CN201711373999 A CN 201711373999A CN 108460320 A CN108460320 A CN 108460320A
Authority
CN
China
Prior art keywords
unit
size
foreground
pixel
code book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711373999.4A
Other languages
English (en)
Inventor
浦世亮
徐向华
郭倩如
李平
张灵均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd, Hangzhou Electronic Science and Technology University filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201711373999.4A priority Critical patent/CN108460320A/zh
Publication of CN108460320A publication Critical patent/CN108460320A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于改进单元分析的监控视频异常事件检测方法。本发明在视频帧上划分非重叠的单元,利用多种低级视觉特征分别建模并建立相应的分类器对异常事件进行判断。在特征表示上使用了更加精细化的特征:利用关于前景对象的极坐标下的HOG3D特征作为运动特征,利用等价模式的LBP特征作为纹理特征。本发明在运动检测方面,既可以检测前景对象运动速度大小的异常,又可以检测前景对象运动方向的异常;在大小和纹理检测方面,能够很好地区分正常纹理和异常纹理。本发明在不大幅度增加检测时间的前提下,提升了算法的检测性能。

Description

基于改进单元分析的监控视频异常事件检测方法
技术领域
本发明涉及一种监控视频异常事件的检测方法,特别涉及一种基于改进单元分析的监控视频异常事件检测方法。
背景技术
近年来,公共场所的安全问题日益突出,对智能监控的要求也越来越高,越来越多的问题也凸现出来。其中一个重要问题就是如何对监控视频中的异常事件进行有效地监控。监控视频中的异常事件监测是智能视频监控***的重要组成部分,对异常事件检测方法的进行研究,提高异常事件检测方法的准确率和时间效率,在安防监控中有重要应用价值。
监控视频中的异常事件检测方法主要分为四个基本步骤:依次为对监控视频进行预处理,对视频中基本事件进行表示、构建异常检测模型、基本事件的异常判断。目前的异常事件检测技术分为两类:跟踪的方法和非跟踪的方法。大部分跟踪的方法使用跟踪信息直接获取对象的速度和方向信息,使用跟踪信息间接获取一些辅助的特征如对象的尺寸和长宽比等。然而这些方法适合包含少量对象的场景,在密集场景由于对象的遮挡和重叠等很难可靠地跟踪轨迹。非跟踪的方法有意避免了特定对象的轨迹跟踪,此类方法大多数依赖目标运动特征,比如社会力模型中的相互作用力是通过光流计算目标运动特征。人行道上的与行人运动特征相似的车辆,存在尺寸异常;人行道上的与行人运动特征相似的骑自行车的人,存在纹理异常。因而,上述方法可能检测不到这些由于对象尺寸和纹理等因素导致的异常。动态纹理混合的方法虽然利用了纹理特征并较以往的技术有改进,但是该方法计算复杂度高,难以保证算法的实时性。
针对如何快速高效检测对象尺寸和纹理等导致的异常,文献《Improved AnomalyDetection in Crowded Scenes via Cell-based Analysis of Foreground Speed,Sizeand Texture》【Vikas Reddy、Computer Vision&Pattern Recognition Workshops】提出了一种健壮的、计算复杂性低的视频异常检测算法。该算法将视频划分成非重叠单元(小块区域)作为异常事件分析的基本单位,借助前景掩码信息利用运动、尺寸和纹理三个低级特征对基本事件进行描述,各个特征独立建模并设计了运动分类器和尺寸纹理分类器对异常事件进行检测。
通过实验验证和算法推理,上述算法存在由于描述符能力弱导致异常事件的漏检和误检问题,表现在两个方面:第一,将单元内前景的平均光流值作为运动特征,只能描述目标速度大小的运动特征,导致只能检测对象速度大小的异常,不能检测对象运动方向的异常;第二,纹理特征描述符能力弱,仅选取4个角度依次进行伽柏滤波并累加得到纹理特征,该特征只有四个维度,不能精确地区分正常和异常纹理。
发明内容
针对上述问题,本发明公开了一种基于改进单元分析的监控视频异常事件检测方法,该方法在视频帧上划分非重叠的单元,利用三种低级视觉特征:以基于前景对象的极坐标下的HOG3D特征作为运动特征,以前景像素点个数作为尺寸特征,以等价模式LBP特征作为纹理特征,分别建模并建立相应的分类器对视频异常事件进行检测判断。
本发明解决其技术问题采用的技术方案步骤如下:
基于改进单元分析的监控视频异常事件检测的方法,采用以下步骤实现:
步骤S101:图像预处理。读取视频流作为输入,对其进行解码,并使用高斯滤波进行去噪处理。
步骤S102:前景掩码的计算。通过ViBe算法(Visual Background Extractor)计算去噪后图像的前景掩码。
步骤S103:单元的划分。对去噪处理后的图像进行单元划分。
步骤S104:基本事件表示。利用前景掩码分别计算各单元的运动、尺寸和纹理特征。其中,我们采用基于前景对象的极坐标下的HOG3D特征作为运动特征,采用前景像素点个数作为尺寸特征,采用等价模式的LBP特征的纹理特征。
步骤S105:模型训练。分别训练单元的运动、尺寸和纹理特征进行独立建模:运动特征和纹理特征使用自适应的半参数方法进行建模,尺寸特征使用近似核密度估计的方法进行建模。
步骤S106:分类器构建。利用训练的模型,建立两个分类器:运动特征分类器和尺寸纹理特征分类器。
步骤S107:异常事件判断。计算测试单元的运动、尺寸和纹理特征,输入到分类器中进行视频异常事件的判断。
本发明的有益效果:
1.本发明在基本事件表示阶段,采用基于前景对象的极坐标下的24维HOG3D特征作为运动特征,不仅可以检测运动速度大小的异常,而且可以检测运动方向的异常。本发明改进了原有的极坐标下HOG3D特征,特点在于只对前景像素点采样和投票,更加关注前景像素点的变化。本发明改进了已有方法以1维的平均光流值作为运动特征,只能检测对象速度大小的异常,不能检测对象运动方向的异常的不足。
2.本发明在基本事件表示阶段,采用等价模式的LBP特征的纹理特征,该描述符对局部纹理有着卓越的描述能力,并具有计算速度快和灰度尺度不变性等优点,应用到该算法中能够更加精确地检测到纹理上的异常,提升了算法的检测性能。本发明改进了已有方法仅选取4个角度依次进行伽柏滤波并累加计算纹理特征,不能精确地区分正常和异常纹理的不足。
附图说明
图1为本发明进行监控视频中异常事件检测的基本流程图;
图2为基于单元分析的异常检测流程图;
图3为ViBe算法前景掩码计算流程图;
图4为基于前景像素的极坐标下的HOG3D特征计算示意图;
图5为基于前景像素的极坐标下的HOG3D特征计算流程图;
图6为尺寸特征计算示例图:其中(1)为尺寸特征计算需要考虑中心单元C(i,j)及其邻居单元,(2)为前景对象出现在中心单元及其邻近单元的一个举例,(3)为与(2)对应的前景像素掩码;
图7为等价模式的LBP特征计算流程图;
图8为运动和纹理特征的建模流程图;
图9为运动尺寸分类器检测到异常事件的结果;
图10为尺寸和纹理分类器检测到异常事件的结果。
具体实施方式
下面结合附图,对本发明的具体实施方案作进一步详细描述。参见图1和图2,其具体步骤如下:
步骤S101:图像预处理
对输入的图像进行灰度化并使用高斯滤波进行降噪处理。高斯滤波降噪处理的具体操作图像与3×3的高斯核进行卷积操作。
步骤S102:前景掩码的计算。
为了严格限制异常分析区域的大小,过滤掉一些类似树的摇动、光照的变化等造成的干扰,本发明对每一帧输入图像进行前景提取。本发明采用ViBe算法计算前景掩码,设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值,参见图3,每个位于(x,y,t)的像素点是否为前景的具体过程如下:
步骤S301:当t=1时,初始化像素点(x,y,t)的模型。从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p1,p2,...,pz}(x,y,t),该样本集可构成该像素点的灰度值模型,其中一般设置为z=20。
步骤S302:t=t+1,读取下一帧的新像素点,转至步骤S303,如果没有新的像素点,算法结束。
步骤S303:阈值判断。将{p1,p2,...,pz}(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体SR(p(x,y,t))范围内的灰度值进行对比。灰度值p(x,y,t)周围球体SR(p(x,y,t))与灰度值样本集{p1,p2,...,pz}(x,y,t-1)交集的势用符号#{SR(p(x,y,t)∩{p1,p2,...,pz}(x,y,t-1)}表示,最小阈值用#min表示(#min为经验值),如果#{SR(pt(x)∩{p1,p2,...,pz})}>#min,转至步骤S304;否则,转至步骤S305。
步骤S304:判断(x,y,t)为背景像素点,设置当前像素点(x,y,t)的掩码mask=0,更新当前像素点前景计数count=0,该像素点有的概率更新自身样本集,该像素点有的概率更新邻居的样本集。转至步骤S302。
步骤S305:判断(x,y,t)为前景像素点,设置当前像素点(x,y,t)的掩码mask=1,更新当前像素点前景计数count=count+1。
步骤S306:如果连续多帧被判为前景,即像素点前景计数大于前景计数阈值count>Tfore(Tfore为经验值),转至步骤S307,否则转至S302。
步骤S307:该像素点有的概率更新自身样本集,转至步骤S302。
上述步骤中更新自身样本集的方法均为从当前像素点(x,y,t)的邻居像素点中随机选择一个像素点随机替代样本集{p1,p2,...,pz}(x,y,t-1)中的一个像素点。
步骤S103:单元的划分。
以步骤S101中去噪后的图像作为输入,假设该灰度图像I的分辨率大小为W×H,每一帧图像划分成N×N的非重叠单元,位于第i行第j列的单元用C(i,j)表示,那么单元的行坐标范围是i=1,2,...,(W/N),列坐标范围是j=1,2,...,(H/N)。我们用It表示第t帧的图像,那么该帧单元可以表示为Ct(i,j)。
步骤S104:基本事件表示
借助步骤S102中的前景掩码,对步骤S103中的单元进行基本事件的表示。本发明分别从运动、纹理和尺寸三个角度来描述基本事件。具体如下:
1.运动特征
为了对单元的运动特征进行估计,我们单元内前景像素点的三维梯度特征进行计算并转化到极坐标下进行投票。设单元Ct(i,j)的内有Nf个前景像素点,其中第n个像素点为pn,pn的三维邻域为Vn,大小为5×5×5。那么运动特征描述符mott(i,j)的计算过程如下:
步骤S501:计算每个前景像素极坐标下的三维梯度。
设局部区域Vn内的像素点pn(x,y,t)的空间梯度为Gx(x,y,t)和Gy(x,y,t),它的时间梯度为Gt(x,y,t)。那么三维梯度的计算公式如下:
Gx=Lσd(x+1,y,t)-Lσd(x-1,y,t),
Gy=Lσd(x,y+1,t)-Lσd(x,y+1,t),
Gt=Lσd(x,y,t+1)-Lσd(x,y,t-1).
其中,Lσd是通过图像I以σd的带宽进行高斯滤波得到的,根据经验一般设置σd=1.1。为了减少局部纹理和对比度的影响,我们对用于计算3D梯度大小的空间梯度Gx(x,y,t)和Gy(x,y,t)进行标准化。标准化公式如下:
其中Gs是归一化后的空间梯度,εmax是为了避免数值不稳定设置的常量,大小设置为最大空间梯度的1%,即εmax=1%×max(Gs)。于是,极坐标下归一化后三维梯度可以表示为
其中,M为三维梯度的大小;θ和φ是梯度的方向,取值范围分别为[-π,π]和[-π/2,π/2]。
步骤S502:将极坐标下归一化的三维梯度[M,θ,φ]投票到直方图。将三维梯度向量转化为直方图hi。将范围[-π,π]平均划分成nθ个容器,将范围[-π/2,π/2]平均划分成nφ个容器,分别以M为投票权重,将θ和φ分别投票到两个容器里,串联起来构成直方图向量hi
步骤S503:累加直方图,获取特征向量。将Nf个直方图向量hi累加获得极坐标系下的HOG3D特征向量mott(i,j),mott(i,j)的计算公式如下:
图4为基于前景像素的极坐标下的HOG3D特征计算示意图;
图5为基于前景像素的极坐标下的HOG3D特征计算流程图。
2.尺寸特征
单元内的前景对象的近似尺寸可以通过考虑单元和与其邻近单元前景掩码的占有量来获得。考虑邻近单元的原因是一个目标对象所占的区域可能超过一个单元,如图6所示自行车的尺寸超过了单元的大小。用ot(i,j)表示单元Ct(i,j)中前景的占有量,即该单元中前景像素点的个数。我们将尺寸的特征sizet(i,j)定义为单元Ct(i,j)及其邻近的单元前景占有量的加权值,G是一个3×3的高斯掩码,尺寸特征公式如下:
3.纹理特征
尺寸特征的使用可以提高异常检测的灵敏度,但是没有任何限制条件地使用依然会有很高的误报率。比如,在一个人群场景中,正在行走着的人们离很近,很可能被误判为一个较大的目标对象。为了解决这个问题,我们引入了纹理特征。在这里,我们采用的是等价模式的LBP特征,参见图7,等价模式的LBP特征具体计算过程如下:
步骤S701:求取窗口每个像素的基本局部二值模式。以中心像素点的灰度值为阈值,以3×3大小的窗口,将近邻中八个像素的灰度值与该阈值比较,若大于该阈值,则该像素点的位置标记为1,否则标记为0。通过比较,我们获得了8个二进制数,将二进制转化成十进制即可获得LBP码,共256种。
步骤S702:实现旋转不变性。循环右移二进制串,得到所有取值可能,取最小值作为当前窗口的LBP值。
步骤S703:利用等价模式降低特征维度。当LBP码的二进制数存在0次、1次、2次跳变的时候,该LBP码为一个等价模式类,而其他的LBP码归为混合模式类。于是,原来的纹理特征从原来的256维降低到59维。
步骤S704:判断是否遍历完整个单元,如果遍历完整,转至步骤S706;否则转至步骤S705。
步骤S705:按步长移动窗口,转至步骤701。
步骤S706:累加全部窗口直方图,获得单元等价模式的LBP特征。
步骤S105:模型训练
运动特征和纹理特征使用自适应的半参数方法进行建模,尺寸特征使用近似核密度估计的方法进行建模。具体如下:
1.运动和纹理特征的建模
运动、纹理特征采用可拓展的半参数化的方法建模,参见图8,具体过程如下(此处的训练向量即为运动、纹理特征):
步骤S801:初始化码本,将第一个训练向量ds1作为码本的第一个项c1,即c1=ds1,设置码本的项的数目为K=1,设置码本c1中向量的个数为W1=1。
步骤S802:判断是否有未输入的训练向量,如果有,转至步骤S803;否则,算法结束。
步骤S803:选择一个未被输入的训练向量dsi作为输入向量x。
步骤S804:寻找与向量x最匹配的码本ck,计算公式如下:
其中ρ为皮尔逊相关系数,ρ(x,ci)表示向量x与码本ci的匹配度。设μa、μb分别是向量a、b各项元素的平均值,计算公式如下:
步骤S805:如果匹配度ρ(x,ck)>0.9,转到步骤S806,否则转到步骤S807。
步骤S806:更新最匹配的码本,即对码本的第k项ck进行更新,更新公式如下:
步骤S807:增加新的码本项,即将向量x作为新的项加入码本中,更新码本公式如下:
K=K+1;cK=x;WK=1
2.尺寸特征建模
利用Parzen高斯窗对大小特征进行非参数建模,把尺寸特征转化成一个概率密度值,然后根据经验风险设置阈值,将概率密度低于该阈值的样本判断为异常。具体做法如下:我们采用平滑的直方图来暂时存放训练样本,使用基于密度估计的高斯核来计算连续变量的概率,这种方法可以在计算时间和精确度上取得一个很好的平衡。假定随机变量是离散的,那么计算固定点的概率公式如下:
其中,xn是标量,表示尺寸特征sizet(i,j);Δx是步长的变化率,设置为Δx=0.25;步长的集合s={0,1,2,3,...,S},SΔx是变量的有效上界;N是训练集中训练样本的数量;h是高斯内核的带宽。将概率值标准化获得概率质量函数,用p(·)表示。
步骤S106:分类器构建
利用步骤S105中训练得到的模型,建立两个分类器:运动特征分类器和尺寸纹理特征分类器。具体如下:
1.运动特征分类器
设ρmax(mott(i,j))表示单元Ct(i,j)的运动特征与最匹配的码本项的匹配度,如果ρmax(mott(i,j))<0.9,则单元Ct(i,j)存在运动特征异常。
2.尺寸纹理特征分类器
设psize(·)是尺寸特征的概率质量函数,ρmax(txtt(i,j))表示单元Ct(i,j)纹理特征与最匹配的码本项的匹配度,如果psize(sizet(i,J))<T,T为经验阈值,并且ρmax(txtt(i,j))<0.9,那么单元Ct(i,j)存在尺寸和纹理特征异常。
步骤S107:异常事件判断
分别计算测试单元Ct(i,j)的运动特征mott(i,j)、尺寸特征sizet(i,j)和纹理特征txtt(i,j)。首先用运动特征分类器对单元进行判断,如果异常,则输出单元运动特征异常。如果运动特征正常,则用尺寸纹理特征分类器再次对单元进行判断,如果异常,则输出单元尺寸和纹理特征异常。如果第t帧的某个单元首次被判为检测异常,我们要考虑在时间、空间上与它邻近的单元是否异常。如果该单元邻近的单元中至少有个是异常的,那么这个单元就是异常的,否则该单元重新分类到正常类。
图9为运动尺寸分类器检测到异常事件的结果;
图10为尺寸和纹理分类器检测到异常事件的结果。

Claims (10)

1.基于改进单元分析的监控视频异常事件检测方法,其特征在于该方法包括以下特征:
步骤S101、图像预处理:
读取视频流作为输入,对其进行解码,并使用高斯滤波进行去噪处理;
步骤S102、前景掩码的计算:
通过ViBe算法计算去噪后图像的前景掩码;
步骤S103、单元的划分:
对去噪处理后的图像进行单元划分;
步骤S104、基本事件表示:
利用前景掩码分别计算各单元的运动、尺寸和纹理特征;
采用基于前景对象的极坐标下的HOG3D特征作为运动特征,用于判断前景对象运动速度大小和运动方向;采用前景像素点个数作为尺寸特征;采用等价模式的LBP特征作为纹理特征;
步骤S105、模型训练:
运动特征和纹理特征使用自适应的半参数方法进行建模,尺寸特征使用近似核密度估计的方法进行建模;
步骤S106、分类器构建:
利用训练的模型,建立两个分类器:运动特征分类器和尺寸纹理特征分类器;
步骤S107、异常事件判断:
计算测试单元的运动、尺寸和纹理特征,输入到分类器中进行视频异常事件的判断。
2.如权利要求1所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S102采用ViBe算法计算前景掩码,设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值,每个位于(x,y,t)的像素点是否为前景的具体过程如下:
步骤S301、当t=1时,初始化像素点(x,y,t)的模型;从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p1,p2,...,pz}(x,y,t),该样本集可构成该像素点的灰度值模型;
步骤S302、t=t+1,读取下一帧的新像素点,转至步骤S303,如果没有新的像素点,算法结束;
步骤S303、阈值判断:将{p1,p2,...,pz}(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体SR(p(x,y,t))范围内的灰度值进行对比;灰度值p(x,y,t)周围球体SR(p(x,y,t))与灰度值样本集{p1,p2,...,pz}(x,y,t-1)交集的势用符号#{SR(p(x,y,t)∩{p1,p2,...,pz}(x,y,t-1)}表示,最小阈值用#min表示,如果#{SR(pt(x)∩{p1,p2,...,pz})}>#min,转至步骤S304;否则,转至步骤S305;
步骤S304、判断(x,y,t)为背景像素点,设置当前像素点(x,y,t)的掩码mask=0,更新当前像素点前景计数count=0,该像素点有的概率更新自身样本集,该像素点有的概率更新邻居的样本集;转至步骤S302;
步骤S305、判断(x,y,t)为前景像素点,设置当前像素点(x,y,t)的掩码mask=1,更新当前像素点前景计数count=count+1;
步骤S306、如果连续多帧被判为前景,即像素点前景计数大于前景计数阈值count>Tfore,转至步骤S307,否则转至S302;
步骤S307、该像素点有的概率更新自身样本集,转至步骤S302。
3.如权利要求2所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S103具体是以步骤S101中去噪后的图像作为输入,假设该灰度图像I的分辨率大小为W×H,每一帧图像划分成N×N的非重叠单元,位于第i行第j列的单元用C(i,j)表示,那么单元的行坐标范围是i=1,2,...,(W/N),列坐标范围是j=1,2,...,(H/N);故用It表示第t帧的图像,则该帧单元可以表示为Ct(i,j)。
4.如权利要求3所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于假设单元Ct(i,j)内有Nf个前景像素点,其中第n个像素点为pn,pn的三维邻域为Vn,大小为5×5×5;步骤(4)所述的运动特征获取过程:
步骤S501、计算每个前景像素极坐标下的三维梯度;
设局部区域Vn内的像素点pn(x,y,t)的空间梯度为Gx(x,y,t)和Gy(x,y,t),它的时间梯度为Gt(x,y,t);那么三维梯度的计算公式如下:
其中,Lσd是通过图像I以σd的带宽进行高斯滤波得到的;为了减少局部纹理和对比度的影响,对用于计算3D梯度大小的空间梯度Gx(x,y,t)和Gy(x,y,t)进行标准化,标准化公式如下:
其中Gs是归一化后的空间梯度,εmax是为了避免数值不稳定设置的常量,大小设置为最大空间梯度的1%,即εmax=1%×max(Gs);于是,极坐标下归一化后三维梯度可以表示为
其中,M为三维梯度的大小;θ和φ是梯度的方向,取值范围分别为[-π,π]和[-π/2,π/2];
步骤S502、将极坐标下归一化的三维梯度[M,θ,φ]投票到直方图;将三维梯度向量转化为直方图hi;将范围[-π,π]平均划分成nθ个容器,将范围[-π/2,π/2]平均划分成nφ个容器,分别以M为投票权重,将θ和φ分别投票到两个容器里,串联起来构成直方图向量hi
步骤S503:累加直方图,获取特征向量;将Nf个直方图向量hi累加获得极坐标系下的HOG3D特征向量mott(i,j),mott(i,j)的计算公式如下:
5.如权利要求4所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于采用尺寸特征sizet(i,j)定义为单元Ct(i,j)及其邻近的单元前景占有量的加权值,G是一个3×3的高斯掩码,尺寸特征公式如下:
其中ot(i,j)表示单元Ct(i,j)中前景的占有量,即该单元中前景像素点的个数。
6.如权利要求5所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S104利用等价模式的LBP特征作为纹理特征,以3×3大小的窗口在单元内滑动来计算每个单元的等价模式的LBP特征,具体是:
步骤S701、求取窗口每个像素的基本局部二值模式:
以中心像素点的灰度值为阈值,以3×3大小的窗口,将近邻中八个像素的灰度值与该阈值比较,若大于该阈值,则该像素点的位置标记为1,否则标记为0;通过比较,获得了8个二进制数,将二进制转化成十进制即可获得LBP码,共256种;
步骤S702、实现旋转不变性:
环右移二进制串,得到所有取值可能,取最小值作为当前窗口的LBP值;
步骤S703、利用等价模式降低特征维度:
当LBP码的二进制数存在0次、1次、2次跳变的时候,该LBP码为一个等价模式类,而其他的LBP码归为混合模式类;故原来的纹理特征从256维降低到59维;
步骤S704、判断是否遍历完整个单元,如果遍历完整,转至步骤S706;否则转至步骤S705;
步骤S705、按步长移动窗口,转至步骤701;
步骤S706、累加全部窗口直方图,获得单元等价模式的LBP特征txtt(i,j)。
7.如权利要求6所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S105运动和纹理特征的建模过程:
步骤S801、初始化码本,将第一个训练向量ds1作为码本的第一个项c1,即c1=ds1,设置码本的项的数目为K=1,设置码本c1中向量的个数为W1=1;
步骤S802、判断是否有未输入的训练向量,如果有,转至步骤S803;否则结束;
步骤S803、选择一个未被输入的训练向量dsi作为输入向量x;
步骤S804、寻找与向量x最匹配的码本ck,计算公式如下:
其中ρ为皮尔逊相关系数,ρ(x,ci)表示向量x与码本ci的匹配度;设μa、μb分别是向量a、b各项元素的平均值,计算公式如下:
步骤S805、如果匹配度ρ(x,ck)>0.9,转到步骤S806,否则转到步骤S807;
步骤S806、更新最匹配的码本,即对码本的第k项ck进行更新,更新公式如下:
步骤S807、增加新的码本项,即将向量x作为新的项加入码本中,更新码本公式如下:
K=K+1;cK=x;WK=1。
8.如权利要求7所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S105利用Parzen高斯窗对尺寸特征进行非参数建模,把尺寸特征转化成一个概率密度值,然后根据经验风险设置阈值,将概率密度低于该阈值的样本判断为异常;具体做法如下:采用平滑的直方图来暂时存放训练样本,使用基于密度估计的高斯核来计算连续变量的概率,该方法可以在计算时间和精确度上取得一个很好的平衡;假定随机变量是离散的,那么计算固定点的概率公式如下:
其中,xn是标量,表示尺寸特征sizet(i,j);Δx是步长的变化率,设置为Δx=0.25;步长的集合s={0,1,2,3,...,S},SΔx是变量的有效上界;N是训练集中训练样本的数量;h是高斯内核的带宽;
将概率值标准化获得概率质量函数,用p(·)表示。
9.如权利要求8所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S106具体是:
1、运动特征分类器
设ρmax(mott(i,j))表示单元Ct(i,j)的运动特征与最匹配的码本项的匹配度,如果ρmax(mott(i,j))<0.9,则单元Ct(i,j)存在运动特征异常;
2、尺寸纹理特征分类器
设psize(·)是尺寸特征的概率质量函数,ρmax(txtt(i,j))表示单元Ct(i,j)纹理特征与最匹配的码本项的匹配度,如果psize(sizet(i,j))<T,T为经验阈值,并且ρmax(txtt(i,j))<0.9,那么单元Ct(i,j)存在尺寸和纹理特征异常。
10.如权利要求9所述的基于改进单元分析的监控视频异常事件检测方法,其特征在于步骤S107具体是:
分别计算测试单元Ct(i,j)的运动特征mott(i,j)、尺寸特征sizet(i,j)和纹理特征txtt(i,j);首先用运动特征分类器对单元进行判断,如果异常,则输出单元运动特征异常;如果运动特征正常,则用尺寸纹理特征分类器再次对单元进行判断,如果异常,则输出单元尺寸和纹理特征异常;如果第t帧的某个单元首次被判为检测异常,则考虑在时间、空间上与它邻近的单元是否异常;如果该单元邻近的单元中至少有个是异常的,那么这个单元就是异常的,否则该单元重新分类到正常类。
CN201711373999.4A 2017-12-19 2017-12-19 基于改进单元分析的监控视频异常事件检测方法 Pending CN108460320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711373999.4A CN108460320A (zh) 2017-12-19 2017-12-19 基于改进单元分析的监控视频异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711373999.4A CN108460320A (zh) 2017-12-19 2017-12-19 基于改进单元分析的监控视频异常事件检测方法

Publications (1)

Publication Number Publication Date
CN108460320A true CN108460320A (zh) 2018-08-28

Family

ID=63220425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711373999.4A Pending CN108460320A (zh) 2017-12-19 2017-12-19 基于改进单元分析的监控视频异常事件检测方法

Country Status (1)

Country Link
CN (1) CN108460320A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595602A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 振动检测方法及相关产品
CN111436962A (zh) * 2020-04-13 2020-07-24 重庆工程职业技术学院 用于海量医学影像数据分布收集设备及其工作方法
CN112435440A (zh) * 2020-10-30 2021-03-02 成都蓉众和智能科技有限公司 一种基于物联网平台的非接触式室内人员跌倒识别方法
CN113822240A (zh) * 2021-11-22 2021-12-21 广东电网有限责任公司中山供电局 一种电力现场作业视频数据提取异常行为的方法及装置
CN114915542A (zh) * 2022-04-28 2022-08-16 远景智能国际私人投资有限公司 数据异常的告警方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268594A (zh) * 2014-09-24 2015-01-07 中安消技术有限公司 一种视频异常事件检测方法及装置
CN105913002A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 视频场景下在线自适应的异常事件检测方法
CN107133654A (zh) * 2017-05-25 2017-09-05 大连理工大学 一种监控视频异常事件检测的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268594A (zh) * 2014-09-24 2015-01-07 中安消技术有限公司 一种视频异常事件检测方法及装置
CN105913002A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 视频场景下在线自适应的异常事件检测方法
CN107133654A (zh) * 2017-05-25 2017-09-05 大连理工大学 一种监控视频异常事件检测的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MEHRSAN JAVAN ROSHTKHARI等: "Online Dominant and Anomalous Behavior Detection in Videos", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
OLIVIER BARNICH等: "VIBE: A POWERFUL RANDOM TECHNIQUE TO ESTIMATE THE BACKGROUND IN VIDEO SEQUENCES", 《2009 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 *
TIMO OJALA等: "Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
VIKAS REDDY等: "Improved Anomaly Detection in Crowded Scenes via Cell-based Analysis of Foreground Speed, Size and Texture", 《CVPR 2011 WORKSHOPS》 *
莫小: "目标检测的图像特征提取之(二)LBP特征", 《HTTPS://WWW.CNBLOGS.COM/NSNOW/P/4461998.HTML》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595602A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 振动检测方法及相关产品
CN110595602B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 振动检测方法及相关产品
CN111436962A (zh) * 2020-04-13 2020-07-24 重庆工程职业技术学院 用于海量医学影像数据分布收集设备及其工作方法
CN111436962B (zh) * 2020-04-13 2023-05-26 重庆工程职业技术学院 用于海量医学影像数据分布收集设备及其工作方法
CN112435440A (zh) * 2020-10-30 2021-03-02 成都蓉众和智能科技有限公司 一种基于物联网平台的非接触式室内人员跌倒识别方法
CN112435440B (zh) * 2020-10-30 2022-08-09 成都蓉众和智能科技有限公司 一种基于物联网平台的非接触式室内人员跌倒识别方法
CN113822240A (zh) * 2021-11-22 2021-12-21 广东电网有限责任公司中山供电局 一种电力现场作业视频数据提取异常行为的方法及装置
CN113822240B (zh) * 2021-11-22 2022-03-25 广东电网有限责任公司中山供电局 一种电力现场作业视频数据提取异常行为的方法及装置
CN114915542A (zh) * 2022-04-28 2022-08-16 远景智能国际私人投资有限公司 数据异常的告警方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108460320A (zh) 基于改进单元分析的监控视频异常事件检测方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN105894701B (zh) 输电线路防外破大型施工车辆的识别报警方法
EP3092619B1 (en) Information processing apparatus and information processing method
Pless et al. Evaluation of local models of dynamic backgrounds
CN106228125B (zh) 基于集成学习级联分类器的车道线检测方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN110298297B (zh) 火焰识别方法和装置
Spinello et al. Leveraging rgb-d data: Adaptive fusion and domain adaptation for object detection
CN104063719A (zh) 基于深度卷积网络的行人检测方法及装置
CN101017573A (zh) 一种基于视频监控的运动目标检测与识别方法
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
Poppinga et al. JET-Net: real-time object detection for mobile robots
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
CN109271934A (zh) 用于交通标志识别的***和方法
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
US20070223785A1 (en) Image processor and method
Kadim et al. Deep-learning based single object tracker for night surveillance.
CN111833353A (zh) 一种基于图像分割的高光谱目标检测方法
CN113327269A (zh) 一种无标记颈椎运动检测方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
Kim Detection of traffic signs based on eigen-color model and saliency model in driver assistance systems
CN111402185B (zh) 一种图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180828

RJ01 Rejection of invention patent application after publication