CN103699874A - 基于surf流和lle稀疏表示的人群异常行为识别方法 - Google Patents

基于surf流和lle稀疏表示的人群异常行为识别方法 Download PDF

Info

Publication number
CN103699874A
CN103699874A CN201310515878.4A CN201310515878A CN103699874A CN 103699874 A CN103699874 A CN 103699874A CN 201310515878 A CN201310515878 A CN 201310515878A CN 103699874 A CN103699874 A CN 103699874A
Authority
CN
China
Prior art keywords
surf
crowd
video sequence
unique point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310515878.4A
Other languages
English (en)
Other versions
CN103699874B (zh
Inventor
章东平
徐凯航
潘晨
彭怀亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201310515878.4A priority Critical patent/CN103699874B/zh
Publication of CN103699874A publication Critical patent/CN103699874A/zh
Application granted granted Critical
Publication of CN103699874B publication Critical patent/CN103699874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法，主要解决复杂场景中人群特征提取不够准确和人群行为检测中行为特征维数高，数据量大以及特征局部流行结构不稳定的问题。包括如下步骤：（1）输入测试和训练视频样本，建立SURF流场，获取特征点运动矢量信息；（2）分别将测试和训练视频序列每帧特征点矢量信息归类为216维特征，视频序列构成行为特征集；（3）利用局部线性嵌入稀疏表示式对其进行分类，求得稀疏表示系数
Figure 2013105158784100004DEST_PATH_IMAGE001
；（4）计算残差，判断测试视频所属类别。本发明能够有效的保留测试样本的局部流行结构，提高样本的判别能力。

Description

基于SURF流和LLE稀疏表示的人群异常行为识别方法
技术领域
本发明属于计算机视觉领域，具体是一种基于SURF流和局部线性嵌入（LLE）稀疏表示的人群异常行为识别方法。
背景技术
 近些年来，人群行为识别作为计算机视觉的重要课题之一，已经在智能视频监控中应用和普及于公共安全、金融安全、运输、和其他领域中。基于视频的人群异常行为检测技术成为此领域中比较活跃的一个分支，近年来得到国内外众多学者的关注与研究。
人群行为检测主要考虑人群行为特征的描述和异常行为的分类判定。其中人群行为的检测主要考虑视频序列中人群行为的运动特性，如光流直方图、局部时空立方体建模、社会动力模型，而异常行为的分类判定则常常通过在训练数据上拟合一个概率模型，将概率接近某一类别的测试样本判别为该类行为，如隐马尔可夫模型、隐条件随机场等。
基于稀疏性的分类模型假设相同类别的样本位于相同位置的子空间，用一个超完备字典中的少量原子可以线性表示任意测试样本。传统的稀疏表示模型仅仅考虑了测试样本的整体结构，而忽略了测试样本的局部流行结构从而造成了稀疏分解不稳定问题，即相似的测试样本可能会得到完全不相似的稀疏表示系数。而这种稀疏分解的不稳定性大大影响了分类正确率。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提供
本发明的基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法，主要解决公共场所复杂场景中人群特征提取不够准确和行为特征维数高，数据量大以及特征局部流行结构不稳定的问题。通过SURF流获取测试视频人群运动特征，降维归类为人群特征集与常见的几种异常行为特征集一起输入到局部线性嵌入稀疏模型中，求解稀疏表示系数，计算最小残差来确定测试视频所属行为的类别。
附图说明
图1是本发明的整个模型识别异常行为的流程图；
图2（a）-图2（d）是4种训练和测试视频范例图；
图3是SURF描述子方向确定的结果图；
图4（a）-图4（d）是4种测试视频序列检测结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，本发明的基于SURF流和局部线性嵌入（LLE）稀疏表示的人群异常行为识别方法包括以下具体步骤：
步骤1、输入包含恐慌、斗殴、打架的异常行为的测试视频序列，如图2所示，对测试视频序列的每一帧的特征点进行哈尔小波变换，获得每个特征点的SURF描述子                                                
Figure 62416DEST_PATH_IMAGE001
；
步骤2、产生像素点的SURF描述子之后，通过SURF描述子对相邻帧的图像的特征点进行匹配，建立SURF流场，获取像素点的运动矢量信息
Figure 46421DEST_PATH_IMAGE002
：
Figure 655257DEST_PATH_IMAGE003
此方程通过双平面上的序列置信度传递方法（BP-S）求解。
步骤3、将每帧图像像素点的运动矢量信息
Figure 766433DEST_PATH_IMAGE002
降维归类为H×h维行为特征，将测试视频序列的所有帧行为特征归类为行为特征集，作为输入局部线性嵌入稀疏模型的测试序列集合。
步骤4、输入测试视频特征集
Figure 932021DEST_PATH_IMAGE004
和常见异常行为视频特征集
Figure 965836DEST_PATH_IMAGE005
，通过局部线性嵌入稀疏表示式，求解稀疏表示系数
Figure 411861DEST_PATH_IMAGE006
：
      
Figure 542628DEST_PATH_IMAGE007
；
步骤5、计算出稀疏表示系数后，通过下式中计算最小残差
Figure 451864DEST_PATH_IMAGE008
，来确定测试视频序列y所对应的非零
Figure 2013105158784100002DEST_PATH_IMAGE009
所在的区域，进而根据非零
Figure 639263DEST_PATH_IMAGE009
的分布状况来判断测试视频序列所属异常行为的类别：  
    
Figure 624536DEST_PATH_IMAGE010
。
其中，对测试视频序列每帧图像特征点提取SURF描述子，特征点的选取包括如下步骤：
（1）采用Hessian矩阵检测每帧图像的兴趣点：
          
      判别式：
Figure 191970DEST_PATH_IMAGE012
   
      通过判别式的正负值来判断像素点是否为兴趣点。
      
（2）构建尺度空间和精确定位特征点
     通过改变滤波器的大小来形成不同的尺度空间，同时处理尺度空间的多层图像，使用相应层的滤波器检测该层像素点的特征值，并与该层上下层的像素点进行比较，选择最大特征值的像素点作为特征点。
（3）计算特征点SURF描述子：
     在特征点选取一个与尺度相应的邻域,求出主方向,surf选择圆形邻域,并且使用活动扇形的方法求出特征点主方向,如图3所示。
     其中，通过匹配相邻帧特征点的SURF描述子，建立SURF流场，获取特征点的运动矢量信息
Figure 183059DEST_PATH_IMAGE002
，需要考虑如下三个方面：
（1）相邻两帧的特征点p 按照SURF描述子s1(p)，s2(p)的相似程度进行匹配
（2）考虑实际情况，流速u2(p)+v2(p)应加以限制，不能过大
（3）考虑运动的连续性，必须优先匹配特征点的邻近区域N
     
Figure 22839DEST_PATH_IMAGE003
      此方程通过双平面上的序列置信度传递方法（BP-S）求解。
     
     其中，训练样本的个数明显小于人群行为特征维数，为了避免出现无解的现象，通过并入一个
Figure 690450DEST_PATH_IMAGE013
的单位矩阵来增加训练样本的维数，即：
          
Figure 982891DEST_PATH_IMAGE014
其中 
Figure 777672DEST_PATH_IMAGE015
           
Figure 471958DEST_PATH_IMAGE016
,是一个误差矢量。
        实施例：
测试视频序列的识别过程如图1所示，采用Sony HVR-V1C摄像机在校园中拍摄的一组视频，视频中的每一帧图像大小为360*240视频中包含正常，打架，恐慌，踩踏这四种群体行为。选取每种行为各200帧作为样本视频序列，其中各选取100帧作为测试视频序列。
输入测试视频和训练视频序列，首先对视频序列的每帧图像进行Hessian矩阵兴趣点检测： 
         
Figure 355787DEST_PATH_IMAGE011
      判别式：
Figure 750996DEST_PATH_IMAGE012
其中为了方便应用，I的值近似用盒子滤波器和图像卷积来实现，9×9的盒子滤波模板对应二阶高斯滤波
Figure 237472DEST_PATH_IMAGE018
。
构建尺度空间和定位特征点：通过改变盒子滤波器的大小来形成不同尺度的图像金字塔，对于新的一阶，；滤波器的尺寸成倍增加，同时每一阶的兴趣点采样也成倍增加。使用相应层的滤波器检测该层像素点的特征值，并与该层上下层的像素点进行比较，选择最大特征值的像素点作为特征点。
计算surf特征点描述子：以主方向为轴在特征点处选择一个大小为20s的窗口,将其分为4x4的方形子区域,分别计算每个子区域5x5大小的空间采样点的Haar小波响应,其中
Figure 512464DEST_PATH_IMAGE019
为水平方向上的Haar小波响应,
Figure 717181DEST_PATH_IMAGE020
为垂直方向上的Haar小波响应,在特征点中心首先对
Figure 650502DEST_PATH_IMAGE019
和进行高斯加权()处理。然后统计每一个方形子区域块的
Figure 191707DEST_PATH_IMAGE019
，
Figure 381249DEST_PATH_IMAGE020
，
Figure 904634DEST_PATH_IMAGE022
，
Figure 68900DEST_PATH_IMAGE023
的累积和,这样每一个子区域就有一个4维的强度描述结构
Figure 248208DEST_PATH_IMAGE001
，形成一个64维SURF描述子。
建立SURF流场，获取特征点运动矢量信息
Figure 788911DEST_PATH_IMAGE002
：我们需要通过
Figure 353753DEST_PATH_IMAGE024
匹配相邻两帧的同一像素点，相邻两帧的特征点p 按照SURF描述子
Figure 954499DEST_PATH_IMAGE025
，
Figure 417841DEST_PATH_IMAGE026
的相似程度进行匹配，考虑实际情况，流速+
Figure 384846DEST_PATH_IMAGE028
应加以限制，不能过大。考虑运动的连续性，必须优先匹配像素点的邻近区域N：
Figure 890914DEST_PATH_IMAGE003
此方程通过双平面上的序列置信度传递方法（BP-S）求解。
 
把分辨率为360*240的视频序列分为尺寸为20*20的小块，并把块的特征点运动矢量方向被量化为5个方向，这样视频序列每一帧行为特征维数为18*12*2，整个视频序列特征集就构成了该种行为的特征描述集合
Figure 44815DEST_PATH_IMAGE004
。同理，对训练视频序列也采取如上操作，获得训练视频行为特征集。
通过局部线性嵌入稀疏表示式，我们将测试视频序列特征集y和测试视频序列特征集D输入到如下表示式中：
Figure 466755DEST_PATH_IMAGE029
   其中
Figure 143724DEST_PATH_IMAGE030
为正则化参数；
然后对于A中的每个稀疏表示系数，可以表示为：
Figure 205538DEST_PATH_IMAGE031
我们采用feature-sign搜索算法求解。结果见图4。
获得的稀疏表示系数后，通过求解下式的最小残差得到测试视频y的类别：
Figure 712928DEST_PATH_IMAGE010
  
其中
Figure 638159DEST_PATH_IMAGE033
，加入误差矢量以避免出现无解情况。

Claims (4)

1.一种基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法，包括以下具体步骤：
步骤1、输入包含恐慌、斗殴、打架的异常行为的测试视频序列，对测试视频序列的每一帧的特征点进行哈尔小波变换，获得每个特征点的SURF描述子                                                
Figure 854471DEST_PATH_IMAGE001
；
步骤2、产生像素点的SURF描述子之后，通过SURF描述子对相邻帧的图像的特征点进行匹配，建立SURF流场，获取像素点的运动矢量信息
Figure 181547DEST_PATH_IMAGE002
：
Figure 465898DEST_PATH_IMAGE003
此方程通过双平面上的序列置信度传递方法（BP-S）求解；
步骤3、将每帧图像像素点的运动矢量信息
Figure 799796DEST_PATH_IMAGE002
降维归类为H×h维行为特征，将测试视频序列的所有帧行为特征归类为行为特征集
Figure 827795DEST_PATH_IMAGE004
，作为输入局部线性嵌入稀疏模型的测试序列集合；
步骤4、输入测试视频特征集
Figure 947061DEST_PATH_IMAGE004
和常见异常行为视频特征集
Figure 402313DEST_PATH_IMAGE005
，通过局部线性嵌入稀疏表示式，求解稀疏表示系数
Figure 489087DEST_PATH_IMAGE006
：
      
Figure 55197DEST_PATH_IMAGE007
；
步骤5、计算出稀疏表示系数
Figure 91286DEST_PATH_IMAGE006
后，通过下式中计算最小残差
Figure 655123DEST_PATH_IMAGE008
，来确定测试视频序列y所对应的非零
Figure 776663DEST_PATH_IMAGE009
所在的区域，进而根据非零
Figure 333415DEST_PATH_IMAGE009
的分布状况来判断测试视频序列所属异常行为的类别：  
    
Figure 489590DEST_PATH_IMAGE010
。
2.如权利要求1所述的基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法，其特征在于：步骤（1）中对测试视频序列每帧图像特征点提取SURF描述子，特征点的选取包括如下步骤：
采用Hessian矩阵检测每帧图像的兴趣点：
         
Figure 286644DEST_PATH_IMAGE011
      判别式：
Figure 833163DEST_PATH_IMAGE012
   
      通过判别式的正负值来判断像素点是否为兴趣点；
构建尺度空间和精确定位特征点：
     通过改变滤波器的大小来形成不同的尺度空间，同时处理尺度空间的多层图像，使用相应层的滤波器检测该层像素点的特征值，并与该层上下层的像素点进行比较，选择最大特征值的像素点作为特征点；
计算特征点SURF描述子：
     在特征点选取一个与尺度相应的邻域,求出主方向,surf选择圆形邻域,并且使用活动扇形的方法求出特征点主方向。
3.如权利要求1所述的基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法，其特征在于： 其中步骤（2）中通过匹配相邻帧特征点的SURF描述子，建立SURF流场，获取特征点的运动矢量信息
Figure 741076DEST_PATH_IMAGE002
，需要考虑如下三个方面：
相邻两帧的特征点p 按照SURF描述子s1(p)，s2(p)的相似程度进行匹配；
考虑实际情况，流速u2(p)+v2(p)应加以限制，不能过大；
考虑运动的连续性，必须优先匹配特征点的邻近区域N：
     
Figure 962146DEST_PATH_IMAGE013
      此方程通过双平面上的序列置信度传递方法（BP-S）求解。
4.如权利要求1所述的基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法，其特征在于：训练样本的个数明显小于人群行为特征维数，为了避免出现无解的现象，通过并入一个的单位矩阵来增加训练样本的维数，即：
         
Figure 963917DEST_PATH_IMAGE015
其中 
Figure 675521DEST_PATH_IMAGE016
           ,
Figure 132096DEST_PATH_IMAGE018
是一个误差矢量。
CN201310515878.4A 2013-10-28 2013-10-28 基于surf流和lle稀疏表示的人群异常行为识别方法 Active CN103699874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310515878.4A CN103699874B (zh) 2013-10-28 2013-10-28 基于surf流和lle稀疏表示的人群异常行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310515878.4A CN103699874B (zh) 2013-10-28 2013-10-28 基于surf流和lle稀疏表示的人群异常行为识别方法

Publications (2)

Publication Number Publication Date
CN103699874A true CN103699874A (zh) 2014-04-02
CN103699874B CN103699874B (zh) 2017-04-12

Family

ID=50361397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310515878.4A Active CN103699874B (zh) 2013-10-28 2013-10-28 基于surf流和lle稀疏表示的人群异常行为识别方法

Country Status (1)

Country Link
CN (1) CN103699874B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778471A (zh) * 2015-04-17 2015-07-15 华中科技大学 一种基于gpu的多尺度空间特征提取方法
CN103902989B (zh) * 2014-04-21 2017-03-01 西安电子科技大学 基于非负矩阵分解的人体动作视频识别方法
CN106934208A (zh) * 2017-01-05 2017-07-07 中国电建集团华东勘测设计研究院有限公司 一种大坝异常监测数据自动识别方法
CN107273899A (zh) * 2016-04-07 2017-10-20 富士通株式会社 对象分类方法和对象分类设备
CN107463898A (zh) * 2017-08-01 2017-12-12 闽江学院 基于视觉传感网络的舞台表演行为异常监控方法
CN107784293A (zh) * 2017-11-13 2018-03-09 中国矿业大学(北京) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN108038451A (zh) * 2017-12-15 2018-05-15 浪潮金融信息技术有限公司 异常行为检测方法及装置
CN109389127A (zh) * 2017-08-14 2019-02-26 华北理工大学 结构化多视图Hessian正则化稀疏特征选择方法
CN111062246A (zh) * 2019-11-06 2020-04-24 盐城吉大智能终端产业研究院有限公司 基于视频图像的密集人群异常行为的检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006044298B3 (de) * 2006-09-20 2008-01-31 Siemens Ag Verfahren zur Überwachung von Personenansammlungen
CN102799863B (zh) * 2012-07-02 2014-12-17 中国计量学院 视频监控中的团体人群异常行为检测方法
CN102930248A (zh) * 2012-10-22 2013-02-13 中国计量学院 基于机器学习的人群异常行为检测方法
CN103020647A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于级联的sift特征和稀疏编码的图像分类方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902989B (zh) * 2014-04-21 2017-03-01 西安电子科技大学 基于非负矩阵分解的人体动作视频识别方法
CN104778471A (zh) * 2015-04-17 2015-07-15 华中科技大学 一种基于gpu的多尺度空间特征提取方法
CN107273899A (zh) * 2016-04-07 2017-10-20 富士通株式会社 对象分类方法和对象分类设备
CN107273899B (zh) * 2016-04-07 2020-08-14 富士通株式会社 对象分类方法和对象分类设备
CN106934208A (zh) * 2017-01-05 2017-07-07 中国电建集团华东勘测设计研究院有限公司 一种大坝异常监测数据自动识别方法
CN106934208B (zh) * 2017-01-05 2019-07-23 国家能源局大坝安全监察中心 一种大坝异常监测数据自动识别方法
CN107463898A (zh) * 2017-08-01 2017-12-12 闽江学院 基于视觉传感网络的舞台表演行为异常监控方法
CN109389127A (zh) * 2017-08-14 2019-02-26 华北理工大学 结构化多视图Hessian正则化稀疏特征选择方法
CN107784293A (zh) * 2017-11-13 2018-03-09 中国矿业大学(北京) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN108038451A (zh) * 2017-12-15 2018-05-15 浪潮金融信息技术有限公司 异常行为检测方法及装置
CN111062246A (zh) * 2019-11-06 2020-04-24 盐城吉大智能终端产业研究院有限公司 基于视频图像的密集人群异常行为的检测方法

Also Published As

Publication number Publication date
CN103699874B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN103699874A (zh) 基于surf流和lle稀疏表示的人群异常行为识别方法
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN108549846B (zh) 一种结合运动特征和头肩结构的行人检测与统计方法
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN103258193B (zh) 一种基于kod能量特征的群体异常行为识别方法
CN104616316B (zh) 基于阈值矩阵和特征融合视觉单词的人物行为识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN104063719A (zh) 基于深度卷积网络的行人检测方法及装置
CN103854016B (zh) 基于方向性共同发生特征的人体行为分类识别方法及***
CN103942575A (zh) 基于场景和马尔科夫逻辑网的智能行为分析***及方法
CN105488519B (zh) 一种基于视频尺度信息的视频分类方法
CN104299003A (zh) 一种基于相似规则高斯核函数分类器的步态识别方法
CN105718866A (zh) 一种视觉目标检测与识别方法
CN105975932A (zh) 基于时间序列shapelet的步态识别分类方法
CN104951793A (zh) 一种基于stdf特征的人体行为识别算法
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
Huang et al. Deepfake mnist+: a deepfake facial animation dataset
CN102289685B (zh) 一种基于正则回归的秩-1张量投影的行为识别方法
CN103577804B (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及***
CN114049572A (zh) 识别小目标的检测方法
CN104200218B (zh) 一种基于时序信息的跨视角动作识别方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant