CN109117774B - 一种基于稀疏编码的多视角视频异常检测方法 - Google Patents

一种基于稀疏编码的多视角视频异常检测方法 Download PDF

Info

Publication number
CN109117774B
CN109117774B CN201810866990.5A CN201810866990A CN109117774B CN 109117774 B CN109117774 B CN 109117774B CN 201810866990 A CN201810866990 A CN 201810866990A CN 109117774 B CN109117774 B CN 109117774B
Authority
CN
China
Prior art keywords
video
view
frame
anomaly detection
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810866990.5A
Other languages
English (en)
Other versions
CN109117774A (zh
Inventor
唐钟洋
郝志峰
王丽娟
蔡瑞初
温雯
陈炳丰
李可爱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810866990.5A priority Critical patent/CN109117774B/zh
Publication of CN109117774A publication Critical patent/CN109117774A/zh
Application granted granted Critical
Publication of CN109117774B publication Critical patent/CN109117774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域,尤其是一种基于稀疏编码的多视角视频异常检测方法,包括以下步骤:对帧图像进行多视角特征提取;对不同视角的特征进行稀疏编码,得到各个视角下的特征的稀疏表示;依据稀疏表示信息获得一个帧图像下的一致性表示矩阵并给相邻两帧之间的一致性表示矩阵赋予相应的权重值后得到字典A,然后利用字典A对异常事件的视频数据进行测试得到稀疏表示系数的重建误差,从而得到标准化的多视角视频异常检测模型。本发明通过提取视频帧图像多视角特征,建立多视角视频异常检测模型,整合视频多个视角下的特征信息来进行异常检测,并利用视频相邻两帧之间的时间想干性,减少了局部信息的损失,提高了异常检测准确度。

Description

一种基于稀疏编码的多视角视频异常检测方法
技术领域
本发明涉及计算机视觉技术领域,尤其是一种基于稀疏编码的多视角视频异常检测方法。
背景技术
异常检测在计算机视觉领域有很多的研究。因为它在视频监控、活动识别和场景理解等方面有很多的潜在应用。一个异常检测***能够很大程度上减少人工劳动和时间。然而,因为异常事件没有明确的边界定义,所以异常事件检测仍然是一个非常大的挑战任务。在真实的应用中,一方面相比较正常事件,异常事件是稀少的,我们需要花费很多代价去收集它们;另一方面,收集所有的异常事件是不可能的。因此,对于典型的异常检测数据集,只有在训练集中给出了一般的场景。为了识别异常事件是否发生,通常的方法是在训练集的外观和动作方面利用规则模式。任何不同意这些规则的模式都将被归类为不规则的模式。
已有一些基于字典学习的异常检测方法,在这些方法中,学习一个字典来对训练集上的所有正常事件进行编码,而异常事件将导致一个大的重构错误。然而,它们只对视频单一视角下的特征进行了异常检测,而没有整合视频帧图像多个视角下的特征信息。这些多视角下的特征信息,可能有着潜在结构特征,借助这些潜在结构特征信息更有利于我们进行异常检测。此外,相邻两帧之间时间相关性往往会被我们忽略,有研究表明,在稀疏编码中,相似的特征可能会被编码成不相似的编码,从而导致了局部信息的损失。
发明内容
针对现有技术异常检测方法容易导致多视角下局部信息损失的不足,我们提出一种基于稀疏编码的多视角视频异常检测方法,整合多视角下的视频信息,利用字典同时在外观和动作上对规则模式进行编码,并通过本词典对与正常事件相对应的特征进行稀疏重构,并有一个小的重构错误。同时,为了提高对相邻帧的预测平滑度,减少局部信息的损失,我们给相邻两帧之间的一致性稀疏表示矩阵加入一个权重值。如果相邻两帧是相似的,它可以确保相邻两帧的一致性稀疏表示系数也是相似的。最后在训练数据集中学习出一个字典A,并利用字典A在测试数据集中求出视频每帧下的重构误差,对所有的重构误差进行标准化之后,设定一个阈值,低于阈值的标准化重构误差值则属于异常事件。
本发明的技术方案为:一种基于稀疏编码的多视角视频异常检测方法,包括以下步骤:
一种基于稀疏编码的多视角视频异常检测方法,包括以下步骤:
S1)、给定一个视频异常检测数据集X,其中包含了该视频的帧图像,提取帧图像中的局部时空特征的梯度直方图、轨迹的光流直方图和运动边界直方图,把这些不同的特征信息看作是不同视角下的数据信息,并且定义在第t帧下第v个视角下的正常事件为xt,v,用字典A线性重构xt,v,则有:xt,v=Aωt,v+∈t,v,其中∈t,v~N(0,σ2I)为重构误差;
S2)、用多视角稀疏编码方法学习到在t帧时刻下的一致性特征表示矩阵
Figure BDA0001751180730000021
公式如下:
Figure BDA0001751180730000022
s.t.||A(:,i)||≤1,ωt,v=αt,v
其中,γ1和γ3为正则化参数,用于控制稀疏性和惩罚项在优化问题中的权重;
S3)、获得最终目标函数:考虑到视频数据中正常事情和异常事件在相邻两帧之间的时间相关性,给相邻两帧之间的一致性表示矩阵赋予相应的权重值St,t-1,并且用Frobenius范式对它们进行正则化约束,则最终的多视角视频异常检测算法的公式为:
Figure BDA0001751180730000023
s.t.||A(:,i)||≤1,ωt,v=αt,v
其中,
Figure BDA0001751180730000024
S4)、用ADMM算法对目标函数进行优化求解,并用训练数据集对模型进行训练,最终得到字典A:用ADMM方法对S3)中的公式优化求解,然后在全部都是正常事件的视频数据集中训练算法模型,最后得到字典A;
S5)、用测试数据集进行测试,计算出全部帧的重构误差l(t),并且对l(t)进行标准化,使其范围为[0,1]:再在有异常事件的视频数据集中算法模型,计算出重构误差:
Figure BDA0001751180730000031
其中,l(t)为第t帧下的重构误差;
在计算完所有测试视频全部帧的重构误差后,对误差进行标准化,使其范围为[0,1],计算每帧的标准化误差的公式为:
Figure BDA0001751180730000032
其中,在t帧下是s(t)越小越可能是一个异常事件;视频帧总数T=200,总视角数V=2,v=1为HOG特征视角,v=2为HOF特征视角,在第t帧时刻第v视角下的视频特征信息xt,v,字典A,表示矩阵αt,v,一致性矩阵
Figure BDA0001751180730000033
两帧之间的一致性矩阵的权重St,t-1,参数γ1234,拉格朗日乘子μ;
S6)、最终判断结果:设定l(t)阈值,当低于阈值的帧图像的重构误差则为异常事件,最后标记出有异常事件的帧图像。
本发明的有益效果为:本发明通过提取视频帧图像中的HOG和HOF等特征,建立一个基于稀疏编码的多视角视频异常检测模型,能够整合视频多个视角下的特征信息来进行异常检测。同时,我们考虑了视频相邻两帧之间的时间想干性,减少了局部信息的损失,提高了异常检测准确度。
附图说明
图1为本发明的流程示意图;
图2为本发明实施例图;
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明:
如图1所示,本实施例提供一种基于稀疏编码的多视角视频异常检测方法,包括以下步骤:
S1)、给定一个视频异常检测数据集,其中包含了该视频的帧图像,提取帧图像中的局部时空特征的梯度直方图、轨迹的光流直方图和运动边界直方图的特征。把这些不同的特征信息看作是不同视角下的数据信息,并且定义在第t帧下第v个视角下的正常事件为xt,v,用字典A线性重构xt,v,则有:xt,v=Aωt,v+∈t,v,其中∈t,v~N(0,σ2I)为重构误差。
S2)、用多视角字典学习方法学习到在t帧时刻下的一致性特征表示矩阵
Figure BDA0001751180730000041
公式如下:
Figure BDA0001751180730000042
s.t.||A(:,i)||≤1,ωt,v=αt,v
其中,γ1和γ3为正则化参数,用于控制稀疏性和惩罚项在优化问题中的权重。
S3)、考虑到视频数据中正常事情和异常事件在相邻两帧之间的时间相关性,给相邻两帧之间的一致性表示矩阵赋予相应的权重值St,t-1,并且用Frobenius范式对它们进行正则化约束,则最终的多视角视频异常检测算法的公式为:
Figure BDA0001751180730000043
s.t.||A(:,i)||≤1,ωt,v=αt,v
其中,
Figure BDA0001751180730000044
S4)、用ADMM方法对S3)中的公式优化求解,然后我们在全部都是正常事件的视频数据集中训练我们的算法模型,例如UCSD Pedestrian 1和Pedestrian2数据集,其中UCSDPedestrian 1数据集包含34个训练视频和36个测试视频,测试视频中有40个异常事件。UCSD Pedestrian 2数据集则包含16个训练视频和12个测试视频,测试视频中有12个异常事件。我们会对训练视频和测试视频进行特征提取,提取每个视频的前10帧图像的HOG特征和HOF特征,再把从训练视频中提取到的特征信息带入基于稀疏编码的多视角视频异常检测算法中进行训练,最后可以学习到字典A。
S5)、把从测试视频中提取到的特征信息带入基于稀疏编码的多视角视频异常检测算法中进行测试,可以学习到表示矩阵ωt,v。最后利用训练得到的字典A,我们可以计算得到重构l(t),计算公式如下所示:
Figure BDA0001751180730000051
其中,l(t)为第t帧下的重构误差。在计算完所有测试视频全部帧的重构误差后,对误差进行标准化,使其范围为[0,1],计算每帧的标准化误差的公式为:
Figure BDA0001751180730000052
其中,在t帧下是s(t)越小越可能是一个异常事件;视频帧总数T=200,总视角数V=2,v=1为HOG特征视角,v=2为HOF特征视角,在第t帧时刻第v视角下的视频特征信息xt,v,字典A,表示矩阵αt,v,一致性矩阵
Figure BDA0001751180730000053
两帧之间的一致性矩阵的权重St,t-1,参数γ1234,拉格朗日乘子μ。
S6)、最终判断结果:设定l(t)阈值,当低于阈值的帧图像的重构误差则为异常事件,最后标记出有异常事件的帧图像。
具体的实验数据结果如下表1所示:
表1:
Figure BDA0001751180730000054
从表1可以看出:本发明对帧图像进行多视角特征提取;对不同视角的特征进行稀疏编码,得到各个视角下的特征的稀疏表示;依据稀疏表示信息获得一个帧图像下的一致性表示矩阵并给相邻两帧之间的一致性表示矩阵赋予相应的权重值后得到字典A,然后利用字典A对异常事件的视频数据进行测试得到稀疏表示系数的重建误差,从而得到标准化的多视角视频异常检测模型。本发明通过提取视频帧图像多视角特征,建立多视角视频异常检测模型,整合视频多个视角下的特征信息来进行异常检测,并利用视频相邻两帧之间的时间想干性,减少了局部信息的损失,提高了异常检测准确度。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。

Claims (1)

1.一种基于稀疏编码的多视角视频异常检测方法,其特征在于:包括以下步骤:
S1)、给定一个视频异常检测数据集X,其中包含了该视频的帧图像,提取帧图像中的局部时空特征的梯度直方图、轨迹的光流直方图和运动边界直方图,把这些不同的特征信息看作是不同视角下的数据信息,并且定义在第t帧下第v个视角下的正常事件为xt,v,ωt,v为在第t帧下第v个视角下的正常事件的表示矩阵,用字典A线性重构xt,v,则有:xt,v=Aωt,v+∈t,v,其中∈t,v~N(0,σ2I)为重构误差;
S2)、用多视角稀疏编码方法学习到在t帧时刻下的一致性特征表示矩阵
Figure FDA0003207905710000011
公式如下:
Figure FDA0003207905710000012
s.t.||A(:,i)||≤1,ωt,v=αt,v
其中,γ1和γ3为正则化参数,用于控制稀疏性和惩罚项在优化问题中的权重,视频帧总数T=200,总视角数V=2,v=1为HOG特征视角,v=2为HOF特征视角;
S3)、获得最终目标函数:考虑到视频数据中正常事件和异常事件在相邻两帧之间的时间相关性,给相邻两帧之间的一致性特征表示矩阵赋予相应的权重值St,t-1,并且用Frobenius范式对它们进行正则化约束,则最终的多视角视频异常检测算法的公式为:
Figure FDA0003207905710000013
s.t.||A(:,i)||≤1,ωt,v=αt,v
其中,
Figure FDA0003207905710000014
δ2=100,γ2为正则化参数;
S4)、用ADMM算法对目标函数进行优化求解,并用训练数据集对模型进行训练,最终得到字典A:用ADMM方法对S3)中的公式优化求解,然后在全部都是正常事件的视频数据集中训练算法模型,最后得到字典A;
S5)、用测试数据集进行测试,计算出全部帧的重构误差l(t),并且对l(t)进行标准化,使其范围为[0,1]:在有异常事件的视频数据集中测试算法模型,计算出重构误差:
Figure FDA0003207905710000021
其中,l(t)为第t帧下的重构误差;
在计算完所有测试视频全部帧的重构误差后,对误差进行标准化,使其范围为[0,1],计算每帧的标准化误差的公式为:
Figure FDA0003207905710000022
其中,在t帧下,s(t)越小越可能是一个异常事件;
S6)、最终判断结果:设定l(t)阈值,当帧图像的重构误差低于阈值时,则为异常事件,最后标记出有异常事件的帧图像。
CN201810866990.5A 2018-08-01 2018-08-01 一种基于稀疏编码的多视角视频异常检测方法 Active CN109117774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866990.5A CN109117774B (zh) 2018-08-01 2018-08-01 一种基于稀疏编码的多视角视频异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866990.5A CN109117774B (zh) 2018-08-01 2018-08-01 一种基于稀疏编码的多视角视频异常检测方法

Publications (2)

Publication Number Publication Date
CN109117774A CN109117774A (zh) 2019-01-01
CN109117774B true CN109117774B (zh) 2021-09-28

Family

ID=64863658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866990.5A Active CN109117774B (zh) 2018-08-01 2018-08-01 一种基于稀疏编码的多视角视频异常检测方法

Country Status (1)

Country Link
CN (1) CN109117774B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902564B (zh) * 2019-01-17 2021-04-06 杭州电子科技大学 一种基于结构相似性稀疏自编码网络的异常事件检测方法
CN111723827B (zh) * 2019-03-18 2023-05-30 中南大学 基于核字典学习的工业过程监测方法、装置和设备
CN110263728B (zh) * 2019-06-24 2022-08-19 南京邮电大学 基于改进的伪三维残差神经网络的异常行为检测方法
CN112884721B (zh) * 2021-02-01 2024-03-29 吴俊� 一种异常检测方法、***及计算机可读存储介质
CN116543335B (zh) * 2023-05-08 2024-06-21 天津大学 一种基于时序空间信息增强的视觉异常检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228149A (zh) * 2016-08-04 2016-12-14 杭州电子科技大学 一种视频异常行为检测方法
CN106384092A (zh) * 2016-09-11 2017-02-08 杭州电子科技大学 面向监控场景的在线低秩异常视频事件检测方法
CN106503647A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩逼近结构化稀疏表示的异常事件检测方法
CN107491749A (zh) * 2017-08-11 2017-12-19 南京邮电大学 一种人群场景中全局和局部异常行为检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228149A (zh) * 2016-08-04 2016-12-14 杭州电子科技大学 一种视频异常行为检测方法
CN106384092A (zh) * 2016-09-11 2017-02-08 杭州电子科技大学 面向监控场景的在线低秩异常视频事件检测方法
CN106503647A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩逼近结构化稀疏表示的异常事件检测方法
CN107491749A (zh) * 2017-08-11 2017-12-19 南京邮电大学 一种人群场景中全局和局部异常行为检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Abnormal Event Detection at 150 FPS in MATLAB;Cewu Lu等;《2013 IEEE International Conference on Computer Vision》;20131231;第2720-2727页 *
Learning Temporal Regularity in Video Sequences;Mahmudul Hasan等;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161231;第733-742页 *
监控视频异常行为检测算法研究;***;《中国优秀硕士学位论文全文数据库 信息科技辑 (月刊)计算机软件及计算机应用》;20180115(第01期);第I138-1719页 *
视频监控中的异常行为检测算法研究;许泽柯;《中国优秀硕士学位论文全文数据库 信息科技辑 (月刊) 电信技术》;20180715(第07期);第I136-332页 *

Also Published As

Publication number Publication date
CN109117774A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109117774B (zh) 一种基于稀疏编码的多视角视频异常检测方法
Young et al. Pets metrics: On-line performance evaluation service
CN108470332B (zh) 一种多目标跟踪方法及装置
Medel et al. Anomaly detection in video using predictive convolutional long short-term memory networks
Manap et al. Non-distortion-specific no-reference image quality assessment: A survey
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN109685045B (zh) 一种运动目标视频跟踪方法及***
Dutta et al. Online detection of abnormal events using incremental coding length
CN103810473B (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN111079539B (zh) 一种基于异常追踪的视频异常行为检测方法
CN110827265B (zh) 基于深度学习的图片异常检测方法
CN104008538A (zh) 基于单张图像超分辨率方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111860277B (zh) 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN116229560B (zh) 一种基于人体姿态的异常行为识别方法及***
CN111402237A (zh) 基于时空级联自编码器的视频图像异常检测方法及***
CN110147736A (zh) 一种基于姿态的重复异常行为检测方法
Zhang et al. Abnormal event detection via compact low-rank sparse learning
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN113837154B (zh) 一种基于多任务辅助的开放集过滤***及方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN116740627A (zh) 基于操作知识的违章告警方法
CN115410035A (zh) 基于监控视频的空中交通管制员不安全行为分类方法
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN105654128B (zh) 基于核范数正则低秩编码的风机叶片图像故障识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant