CN113762007B - 一种基于外观和动作特征双预测的异常行为检测方法 - Google Patents

一种基于外观和动作特征双预测的异常行为检测方法 Download PDF

Info

Publication number
CN113762007B
CN113762007B CN202011263894.5A CN202011263894A CN113762007B CN 113762007 B CN113762007 B CN 113762007B CN 202011263894 A CN202011263894 A CN 202011263894A CN 113762007 B CN113762007 B CN 113762007B
Authority
CN
China
Prior art keywords
appearance
frame
network
video frame
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011263894.5A
Other languages
English (en)
Other versions
CN113762007A (zh
Inventor
陈洪刚
李自强
王正勇
何小海
刘强
吴晓红
熊书琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202011263894.5A priority Critical patent/CN113762007B/zh
Publication of CN113762007A publication Critical patent/CN113762007A/zh
Application granted granted Critical
Publication of CN113762007B publication Critical patent/CN113762007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于外观和动作特征双预测的异常行为检测方法，涉及计算机视觉和人工智能领域。方法包括：(1)顺序读取视频帧序列，计算相邻图像的帧间差，获取固定长度的视频帧序列和对应的帧差图序列；(2)利用引入记忆增强模块的双流网络模型，分别通过外观和动作子网络提取属于正常行为的特有外观和动作特征，并预测视频帧图和帧差图；(3)将预测的视频帧和帧差图相加融合，得到最终的预测视频帧；(4)通过评估记忆增强模块所提取动作和外观特征以及最终预测图像质量获取该帧异常得分。本发明采用基于预测模型的深度学习方法，能够有效地将含异常行为的视频帧检测出来，提高了异常检测的准确率。

Description

一种基于外观和动作特征双预测的异常行为检测方法
技术领域
本发明涉及一种基于外观和动作特征双预测的异常行为检测方法，属于计算机视觉与安防监控领域。
背景技术
异常行为检测是计算机视觉领域的一项技术，异常行为检测的目的是将视频中被认为是存在异常行为检测出来。在如今公共安全越来越引起关注，大量监控设备被部署在各个地点，由此产生巨量的视频资源，而靠人力来实时关注各个监控画面是及其困难的，且消耗大量的人力资源。使用异常行为检测算法可以对监控视频中的异常行为能够检测出来并及时发出警告，可以大大降低人力成本，提升效率。异常行为检测在视频监控、智能安防和交通运输等领域有着广阔的应用前景。
对于视频的异常行为检测，由于异常行为发生率低，数据收集困难的原因，当前大多数方法采用只使用正常视频进行训练的半监督学习方法，而基于重建或预测的方法由于其较好的检测效果成为主要使用的方法。此方法通过输入连续几帧视频到自编码器网络或生成对抗网络来重建输入帧或预测下一帧，通过判断视频重建或预测的好坏来衡量视频是否异常。虽然该类方法取得了较好的效果，但是仍然面临着以下问题：(1)异常行为可分为外观、动作或两者兼具的情况，而当前的重建和预测的方法为充分利用到外观和动作信息；(2)正常行为具有多样性，复杂的背景等会让网络无法正确学习到正常样本的特有特征，此外卷积神经网络强大的生成能力，会使得异常样本的重建或预测效果也能很好，影响最终的异常检测准确率。
发明内容
为了解决现有技术的不足，本发明提出了一种基于外观和动作特征双预测的异常行为检测方法，目的在于设计了含记忆增强模块的对外观和动作特征进行预测的双流网络结构，使得异常视频帧能够获得更大的预测误差，提高异常行为检测的准确率。
本发明采用以下技术方案：一种基于外观和动作特征双预测的异常行为检测方法，该方法包括以下步骤：
(1)顺序读取视频帧，计算相邻图像的帧间差，获取固定长度的视频帧序列和对应的帧差图序列；
(2)利用引入记忆增强模块的双流网络模型，分别通过外观子网络和动作子网络提取属于正常行为的特有外观和动作特征，并预测视频帧图和帧差图；
(3)将预测的视频帧和帧差图相加融合，得到最终的预测视频帧；
(4)通过衡量记忆增强模块所提取动作和外观特征以及最终预测图像质量获取该帧的异常得分。
与现有技术相比，本发明的有益效果在：
1、本发明同时利用视频帧序列和RGB帧差图序列作为输入送入双流卷积自编码器网络进行预测，相比现有方法使用光流图提取动作特征，用帧差图可以降低网络复杂程度，减少计算量；
2、本发明对自编码网络中的编码器和解码器的网络结构进行改进，使其更好的提取特征，提高图像预测质量；
3、本发明加入记忆增强模块，更好的学习了正常样本的特征，增强了网络的鲁棒性，使得异常视频获取更高的异常分数；
4、本发明的异常分数在考虑到预测图像的质量同时，也将所提取样本特征与正常行为特征的特征相似度分数作为评价依据，有效地提高了异常检测的效果，降低误检率。
附图说明
图1为本发明异常行为检测方法流程图；
图2为本发明基于外观和动作特征双预测的异常行为检测的网络结构图；
图3为本发明编码器和解码器中上采样和下采样模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述具体实施方式仅仅用以解释本发明，并不用于限定本发明。
如图1-2所示，一种基于外观和动作特征双预测的异常行为检测方法，包括以下步骤：
(1)顺序读取视频帧，计算相邻图像的帧间差，获取固定长度的视频帧序列和对应的帧差图序列；
(2)利用引入记忆增强模块的双流网络模型，分别通过外观子网络和动作子网络提取属于正常行为的特有外观和动作特征，并预测视频帧图和帧差图；
(3)将预测的视频帧和帧差图相加融合，得到最终的预测视频帧；
(4)通过衡量记忆增强模块所提取动作和外观特征以及最终预测图像质量获取该帧异常得分。
详细步骤如下：
步骤1：获取固定长度的视频帧和帧差图。从一个固定摄像头中获取一段视频流，将视频分帧处理后，选取固定长度为t的连续视频帧序列，其中前t-1帧图像直接送入外观子网络。对于固定摄像头的视频流可以OpenCV的方法获取到视频的背景图像IB，然后将t帧RGB视频图像减去IB获得没有背景噪声的前景图像I′1,I′2,…,I′t，最后将前景图像序列后一帧减去前一帧得到动作子网络所需要的t-1张连续帧差图序列X1,X2,…,Xt-1。
步骤2：将固定长度的视频帧和帧差图分别送入引入记忆增强模块的双流网络进行预测，生成预测的视频帧和RGB帧差图。
对于网络结构，如图2所示，网络由两个结构相同的自编码器子网络构成，自编码器网络广泛用于特征提取和图像的重建和预测任务。以外观子网络为例，进一步说明：子网络依次由编码器Ea，记忆增强模块Ma和解码器Da级联而成。编码器与解码器在相同分辨率的特征层进行跳连接(skip-connection)，记忆增强模块对编码器提取的特征作正常样本特征增强后送入解码器进行重建。对于编码器和解码器，本发明对编码器和解码器的上采样层和下采样层进行改进，如图3所示，改进的上采样模块和下采样模块都采用了类残差结构，下采样模块两个分支分别通过不同核函数的卷积操作和最大池化操作；上采样模块则采用不同大小卷积核的反卷积操作。改进的卷积核获取的信息更丰富，可提取更多有效的语义特征。设定输入外观子网络输入为I1,I2,…,It，经过编码器Ea下采样提取关于图像场景，目标外观信息等深层特征Za后，记忆增强模块Ma对特征Za进行正常样本的记忆增强得到增强后特征Z′a解码器Da输入Z′a预测得到第t+1帧计算方法如公式(1)所示：
上式中分别代表编码器Ea、记忆增强模块Ma和解码器Da的参数。
关于记忆增强模块，具体说明如下：
该模块的包含一个存储M个用于将正常样本特征向量存储在本地的内存项；在训练阶段，编码器将提取到的正常样本的所有特征送入该模块中，该模块会提取M个最能表征正常样本的特征，并将其存储在本地中。该模块的功能的实现通过读取和更新两个操作来实现。
对于读取操作，其实为了生成增强后的特征，用于解码器的重建，故其存在于网络的训练和测试阶段。读取操作步骤为：对于编码器输出特征z，计算z与内存项中存储特征p的余弦相似度，计算公式如(2)所示：
式中k,m分别为特征z和p的索引，对s(zk,pm)应用softmax函数得到读取权重ωk,m，计算公式如(3)：
对内存项特征p应用所计算的对应权重ωk,m，得到记忆增强增强后的特征计算方式为：
所述更新操作只存在于训练阶段，用于学习正常样本的特有特征，首先使用公式(1)计算余弦相似度，然后计算更新权重vm,k，其计算方法如公式(5)：
更新后地内存的计算方法如公式(6)：
为了使内存项真正记住正常样本的特征，该模块引入了特征压缩损失Lc和特征分离损失Ls两个损失函数。特征压缩损失Lc如公式(7)所示：
上式中pτ表示所有内存项与zk相似度最高的一项。
特征分离损失Ls的计算方法如公式(9)所示：
上式中τ和γ分别表示公式(1)中ωk,m取得最大值和第二大值时的索引m的值。步骤3：通过步骤2从外观子网络和动作子网络中预测得到预测视频帧和RGB帧差图/>将两个预测图相加可得到本网络最终的第t+1帧视频帧/>步骤4：异常分数的计算方法具体如下：
首先计算第t+1帧与真实帧It+1的峰值信噪比(PSNR)，计算方法如公式(10)所示：
其中N代表第t+1帧图像It+1所有像素个数。
其次计算外观子网络和动作子网络编码器每一个输出特征zk与记忆增强模块的内存项特征pτ的L2距离作为两个子网络的特征相似度分数，计算方法如公式(11)所示：
其中τ为与zk相似度最大的内存项特征的索引；
最后将三个分数归一化到[0,1]后，再通过超参数β来平衡各个分数的权重，计算方法如公式(12)所示：
式中D′a(za,pa)和D′m(zm,pm)分别表示归一化后的PSNR、外观特征相似度分数和动作特征相似度分数。
为了验证本发明方法的有效性，本发明使用视频异常行为检测领域常用的Avenue、UCSD-ped2和ShanghaiTech三个公共数据集上进行训练和测试。选取四种基于深度学习的异常行为检测方法作为对比方法，具体为：
方法1：Abati等人提出的方法，参考文献“D.Abati,A.Porrello,S.Calderara,andR.Cucchiara,"Latent space autoregression for novelty detection,"inProceedings of the IEEE Conference on Computer Vision and Pattern Recognition2019,pp.481-490.”
方法2：Nguyen等人提出的方法，参考文献“T.-N.Nguyen and J.Meunier,"Anomaly detection in video sequence with appearance-motion correspondence,"inProceedings of the IEEE International Conference on Computer Vision,2019,pp.1273-1283.”
方法3：Liu等人提出的方法，参考文献“W.Liu,W.Luo,D.Lian,and S.Gao,"Futureframe prediction for anomaly detection–a new baseline,"in Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition 2018,pp.6536-6545.”
方法4：Gong等人提出的方法，参考文献“D.Gong et al.,"Memorizing normalityto detect anomaly:Memory-augmented deep autoencoder for unsupervised anomalydetection,"in Proceedings of the IEEE International Conference on ComputerVision,2019,pp.1705-1714.”
如表1所示，本发明提出的方法以AUC作为评价指标在三个数据集上，与其他四个方法的比较来看，本方法识别的准确率由较大的优势。
表1与其他方法评价指标(AUC)对比
最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，包括以下步骤：
(1)顺序读取视频帧，计算相邻图像的帧间差，获取固定长度的视频帧序列和对应的帧差图序列；
(2)利用引入记忆增强模块的双流网络模型，分别通过外观子网络和动作子网络提取属于正常行为的特有外观和动作特征，并预测视频帧图和帧差图；
引入了记忆增强模块的双流网络结构包括外观子网络和动作子网络共两路卷积神经网络，所述外观子网络和动作子网络由相同结构的自编码器网络组成；自编码器网络由编码器、解码器以及记忆增强模块组成，记忆增强模块级联在编码器与解码器之间；
记忆增强模块包含存储M个用于将正常样本特征向量存储在本地的内存项，记忆增强模块分为读取和更新两个操作：
所述读取操作同时存在网络的训练和测试阶段；读取操作步骤为：对于编码器输出特征z，计算z与内存项中存储特征p的余弦相似度，计算公式如(1)所示：
式中k,m分别为特征z和p的索引，对s(zk,pm)应用softmax函数得到读取权重ωk,m，计算公式如(2)：
对内存项特征p应用所计算的对应权重ωk,m，得到记忆增强后的特征计算方式为：
所述更新操作只存在于训练阶段，首先使用公式(1)计算余弦相似度，然后计算更新权重vm,k，其计算方法如公式(4)：
更新后地内存的计算方法如公式(5)：
更新后地内存项将被保存在本地，在训练和测试的读取操作中被使用；
(3)将预测的视频帧和帧差图相加融合，得到最终的预测视频帧；
(4)通过衡量记忆增强模块所提取动作和外观特征以及最终预测图像质量获取该帧异常得分。
2.根据权利要求1所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，所述步骤(1)中帧差图计算方法为：
对每个视频段，首先，提取该视频段的背景图像；其次，对于固定长度为t的视频帧序列，先减去背景图像，获取剔除背景的前景目标图像；最后，前后相邻帧相减得到长度为t-1的帧差图序列。
3.根据权利要求1所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于，所述编码器和解码器的网络结构；
所述编码器和解码器分别含有三个下采样层和三个上采样层；所述下采样层采用残差结构，两个支路分别采用最大池化和卷积来降低分辨率并增加通道数；所述上采样层两个支路采用不同大小的卷积核的反卷积来升高分辨率并减小通道数；编码器和解码器在相同分辨率的特征层使用跳连接。
4.根据权利要求1所述的一种基于外观和动作特征双预测的异常行为检测方法，其特征在于：
所述步骤(3)中获取最终的预测视频帧的方法：
连续t-1张视频帧图像输入外观子网络预测得到第t帧同时连续t-1张帧差图输入动作子网络预测得到第t张帧差图/>最后将/>和/>相加融合得到第t+1帧/>
所述步骤(4)中，通过以下方法对异常分数进行计算：
(4.1)计算第t+1帧与真实帧It+1的峰值信噪比(PSNR)；
(4.2)分别计算外观子网络和动作子网络中编码器每一个输出特征zk与记忆增强模块的内存项特征pτ的L2距离作为两个子网络的特征相似度分数，计算方法如公式(6)所示：
其中τ为与zk相似度最大的内存项特征的索引；
(4.3)将步骤(4.1)和步骤(4.2)中三个分数归一化到【0,1】，然后相加融合得到最终的异常分数，分数越高，视频帧异常的可能性越大，分数计算方法如(7)所示：
式中D'a(za,pa)和D'm(zm,pm)分别表示归一化后的PSNR、外观特征相似度分数和动作特征相似度分数。
CN202011263894.5A 2020-11-12 2020-11-12 一种基于外观和动作特征双预测的异常行为检测方法 Active CN113762007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011263894.5A CN113762007B (zh) 2020-11-12 2020-11-12 一种基于外观和动作特征双预测的异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011263894.5A CN113762007B (zh) 2020-11-12 2020-11-12 一种基于外观和动作特征双预测的异常行为检测方法

Publications (2)

Publication Number Publication Date
CN113762007A CN113762007A (zh) 2021-12-07
CN113762007B true CN113762007B (zh) 2023-08-01

Family

ID=78785994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011263894.5A Active CN113762007B (zh) 2020-11-12 2020-11-12 一种基于外观和动作特征双预测的异常行为检测方法

Country Status (1)

Country Link
CN (1) CN113762007B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640988A (zh) * 2023-12-04 2024-03-01 书行科技(北京)有限公司 一种视频处理方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358195A (zh) * 2017-07-11 2017-11-17 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN110415236A (zh) * 2019-07-30 2019-11-05 深圳市博铭维智能科技有限公司 一种基于双流神经网络的复杂地下管道的异常检测方法
CN111414876A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种基于时序引导空间注意力的暴力行为识别方法
CN111860229A (zh) * 2020-07-01 2020-10-30 上海嘉沃光电科技有限公司 异常行为智能识别方法及其装置和存储介质
CN111897913A (zh) * 2020-07-16 2020-11-06 浙江工商大学 基于语义树增强的复杂文本查询到视频的跨模态检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358195A (zh) * 2017-07-11 2017-11-17 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN110415236A (zh) * 2019-07-30 2019-11-05 深圳市博铭维智能科技有限公司 一种基于双流神经网络的复杂地下管道的异常检测方法
CN111414876A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种基于时序引导空间注意力的暴力行为识别方法
CN111860229A (zh) * 2020-07-01 2020-10-30 上海嘉沃光电科技有限公司 异常行为智能识别方法及其装置和存储介质
CN111897913A (zh) * 2020-07-16 2020-11-06 浙江工商大学 基于语义树增强的复杂文本查询到视频的跨模态检索方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Hyunjong Park等.Learning Memory-Guided Normality for Anomaly Detection.《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR》.2020,第14360-14369页. *
Limin Wang等.Temporal Segment Networks for Action Recognition in Videos.《IEEE Transactions on Pattern Analysis and Machine Intelligence》.2019,第41卷(第11期),第2740-2755页. *
Trong-Nguyen等.Anomaly Detection in Video Sequence With Appearance-Motion Correspondence.《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》.2020,第1273-1283页. *
徐晨阳等.超声图像神经分割方法研究.《北京邮电大学学报》.2018,第41卷(第1期),第115-120页. *
李自强等.基于外观和动作特征双预测模型的视频异常行为检测.《计算机应用》.2021,第41卷(第10期),第2997-3003页. *
樊亚翔.基于深度学习的视频异常事件检测方法研究.《中国博士学位论文全文数据库 信息科技辑》.2020,(第02期),第I138-110页. *

Also Published As

Publication number Publication date
CN113762007A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN109961019B (zh) 一种时空行为检测方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN112184654A (zh) 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
Chen et al. Local patch network with global attention for infrared small target detection
CN111626245A (zh) 一种基于视频关键帧的人体行为识别方法
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及***
CN113128360A (zh) 基于深度学习的司机驾驶行为检测与识别方法
CN112446242A (zh) 声学场景分类方法、装置及相应设备
CN112489072B (zh) 一种车载视频感知信息传输负载优化方法及装置
CN111223087A (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN113762007B (zh) 一种基于外观和动作特征双预测的异常行为检测方法
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
CN112633100B (zh) 行为识别方法、装置、电子设备和存储介质
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
Kalshetty et al. Abnormal event detection model using an improved ResNet101 in context aware surveillance system
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及***
CN115761667A (zh) 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法
CN115393714A (zh) 一种融合图论推理的输电线路螺栓缺销钉检测方法
CN115601674A (zh) 一种输电工程烟雾隐患识别方法、装置及存储介质
CN114937222A (zh) 一种基于双分支网络的视频异常检测方法及***
Wei et al. Pedestrian anomaly detection method using autoencoder
Tran et al. Anomaly detection using prediction error with spatio-temporal convolutional LSTM
Cao et al. Single image super-resolution via deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant