CN110263728A - 基于改进的伪三维残差神经网络的异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于改进的伪三维残差神经网络的异常行为检测方法，包括以下步骤：首先，将训练集中的每个视频分割为多个视频片段；其次，将一个视频的所有视频片段分别输入改进的伪三维残差神经网络后得到它们的特征；然后，取每个片段里所有帧的特征向量的平均值，并紧接着对特征均值进行L2范数归一化，从而得到该视频片段的特征向量；最后，将视频片段的特征向量输入到一个3层的全连接神经网络，就会输出视频片段的异常得分。实验结果表明，与目前方法相比，本文所提方法进一步提高了异常行为检测的准确率，更贴合实际应用。

Description

基于改进的伪三维残差神经网络的异常行为检测方法

技术领域

本发明涉及一种监控视频场景下的异常行为检测方法，尤其涉及一种基于多示例学习与改进的伪三维残差神经网络的异常行为检测方法，属于视频分析技术领域。

背景技术

传统的视频监控主要还是依靠人为地去监测场景中的异常行为，不仅需要极高的人力成本，而且容易产生视觉疲劳，甚至会导致一些异常行为未被及时地观察到；异常行为检测与分析旨在通过视频信号处理以及机器学习等算法自动地检测出监控场景中的异常行为，从而帮助人们及时地采取相应措施；因此，监控场景的异常行为检测具有十分重要的研究意义。

异常行为检测早期的研究工作利用低层的轨迹特征来描述正常模式，然而由于难以获得可靠的轨迹，这些方法在有多处遮挡的复杂或拥挤的场景中鲁棒性并不好；考虑到轨迹特征和低层的时空特征的不足，方向梯度直方图(HOG)、光流直方图(HOF)和边界直方图(MBH)被广泛使用，在此基础上，马尔科夫随机场模型(MRF)、社会力模型(SFM)、多尺度光流直方图(MHOF)、混合动态纹理(MDT)被相继提出；这些方法根据正常行为的训练数据对正常行为建模，将低概率模式检测为异常，然而，这些人工设计的特征很难有效地反映行为特性，并且计算复杂。

随着稀疏表示和字典学习方法在一些计算机视觉问题上的成功，研究者们开始使用稀疏表示来学习正常行为的字典，在测试过程中，具有较大重构误差的模式被认为是异常行为；最近，有研究者利用基于深度学习的自编码器学习正常行为模型，利用重构损失检测异常；方法都基于这样一个假设，即任何偏离学习到的正常行为模式的行为都将被视为异常；然而，这个假设可能不成立，因为正常行为和异常行为都具有着复杂多样性，并且它们之间的界限有时是模糊的。

仅从正常行为的训练数据中学习正常行为字典，并基于重构误差检测异常行为是不合适的，将正常行为和异常行为视频数据都利用起来是合理的，并且应该在尽可能少的标记信息下进行。

发明内容

本发明所要解决的技术问题在于克服现有监控视频场景下的异常行为检测方法的不足，提供了一种基于改进的伪三维残差神经网络(Pseudo-3D Residual NeuralNetwork，简称P3D-ResNet)的异常行为检测方法，对P3D-ResNet进行改进，并用其来学习视频的特征。

本发明所述的基于改进的伪三维残差神经网络的异常行为检测方法，包括以下步骤：

步骤一，基于多示例学习方法，采用仅有粗粒度标记(即视频级别标签的)训练集，对训练集中的每个视频进行数据预处理，将每个视频分割为多个视频片段；

步骤二，对P3D-ResNet网络结构进行改进，将一个视频的所有视频片段分别输入改进的P3D-ResNet，获取每个视频片段里每个视频帧的特征向量；

步骤三，计算每个视频片段里所有帧的特征向量的平均值,并紧接着对特征均值进行L2范数归一化，从而获得该视频片段的特征向量；

步骤四，将步骤三所获得的视频片段的特征向量输入一个3层的全连接神经网络(fully connected neural network，简称FC神经网络)，就会输出视频片段的异常得分(即属于异常的概率)；

步骤五，绘制受试者操作特性曲线(Receiver Operating Characteristic，简称ROC)，计算曲线下对应面积(Area Under ROC Curve，简称AUC)，对输入视频异常片段进行评估。

进一步的，步骤一中，将训练集中的每个视频都视为一个包，含有异常行为的视频被标记为正包，没有异常行为的正常视频被标记为负包，调整视频每帧的大小和帧速率，数据预处理方法为：将每个视频分成含有相同帧数的非重叠的视频片段，每个视频片段作为正包或负包中的示例。

进一步的，步骤二中，对P3D-ResNet网络结构的改进在于，在伪三维卷积残差神经网络框架的基础上，在快捷连接shortcuts部分加入了3×3×3的平均池化操作，并在每个卷积操作后都加入了批量归一化(batch normalization，简称BN)操作。

进一步的，对于步骤四中所使用的分类器3层全连接神经网络，采用目标函数进行训练。

进一步的，步骤四中，目标函数的设计步骤为：

1)在多示例学习算法中，带有视频级别标签的训练集可表示为{(x₁,y₁),…,(x_i,y_i),…,(x_N,y_N)}，其中x_i是训练集中的第i个包，y_i为该包的标签，N为训练集中包的总个数；第i个包又可表示为其中的x_ik表示包x_i的第k个示例，n_i为正包x_i中的示例总数。假设训练集中有N_a个正包，则x_i(i∈[1,N_a])为正包，且y_i＝+1；同时训练集中有N-N_a个负包，则x_j(j∈[N_a+1,N])为负包，且y_j＝-1；

在使用支持向量机(SVM)的标准监督分类问题中，优化目标为：

其中①为风险项，②为正则化项，C为正则化常数，m为训练示例的总数，y_i为每个示例的标签，φ(x_i)图像块或视频片段的特征向量，w为模型的权重参数，b为偏置参数。

2)因异常得分即为属于异常的概率，异常的视频要比正常视频的异常得分高才是合理的，为了提高检测的准确率，希望异常的视频片段比正常的视频片段有更高的异常分数，可使用排序损失，它能使异常视频片段比正常片段获得更高的得分，然而，在没有视频片段级注释的情况下(异常视频中是否存在正常的视频片段是未知的)，需要使用多示例排序损失函数：

其中x_ik和x_jl分别表示异常的视频片段和正常的视频片段，f(x_ik)和f(x_jl)分别表示对应的异常得分，且取值范围为[0,1]。

3)正包中异常得分最高的示例最有可能是真正的正示例(异常片段)，负包中异常得分最高的示例实际上是一个正常的示例，但该负示例很可能会被错误地检测，所以被称作异常检测中的困难示例。为了解决以上问题，我们不对包中的每个示例进行排序，而是强制只对正的包和负的包中异常得分最高的两个示例进行排序，为了让异常得分最高正示例与异常得分最高负示例在异常分数上相差很大，采用hinge-loss形式的排序损失函数：

4)仅有以上排序损失函数还不够，还需要考虑到视频的时序结构。首先，由于片段序列是连续的，所以相邻的两个视频片段之间的异常得分应该是相对平滑的。对此，我们通过添加时序平滑性约束最小化相邻的视频片段的异常得分差值。其次，由于在视频中发生异常行为的时间范围通常相对较小，所以正包里示例(视频片段)的得分应该是稀疏的；对此，我们通过添加稀疏性约束，使得视频片段的异常得分具有稀疏性；结合上述平滑性约束和稀疏性约束，得到完整的目标函数为：

其中①为时序平滑约束项，②为稀疏约束项，③为正则化项，w表示模型权重，λ₁、λ₂和λ₃分别表示时序平滑约束项系数、稀疏约束项系数和正则化项系数，其它变量与(2)式相同。在MIL排序损失中，误差是从正包和负包中得分最高的视频片段反向传播的。

进一步的，步骤五中，利用分类器获得每个视频片段的异常概率，再绘制ROC曲线，就能评估异常行为检测方法的性能，具体方法为：

1)依据异常概率对视频片段进行降序排序，同时将最大的异常概率作为阈值，则大于或等于这个阈值的示例归为正类，否则归为负类；

2)依据分类结果计算假正例率和真正例率，并分别以它们为横坐标、纵坐标，得到坐标轴的一个点；

3)将分类阈值依次设置其它示例的预测值，再按照上述方法，得到一系列坐标轴上的点；

4)将所有坐标点连接成ROC曲线，ROC曲线下对应的面积为AUC。

本发明所述的有益效果为：本发明仅使用弱标记的训练数据，不仅利用了正常行为的视频数据，还利用到了异常行为的视频数据，提高了异常行为检测的准确率，更贴合实际应用。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。

图1为本文所提异常行为检测方法流程图；

图2为P3D-ResNet中的3种伪三维残差块结构图；

图3为改进的P3D-ResNet框结构示意图；

图4为本申请与另外两个现有的基于三维神经网络框架的方法及基准方法的ROC曲线；其中①表示本专利所提的方法，②表示基于3D CNN的方法，③表示基于3D ResNet-34的方法，④表示基于二分类支持向量机的方法。

具体实施方式

本发明的目的是提供一种监控视频场景下的异常行为检测方法，具体的为基于多示例学习与改进的伪三维残差神经网络的异常行为检测方法，以加强监控能力，提高公共安全。

如图1所示，本发明实施步骤如下：

首先，将训练集中的每个视频分为多个视频片段，并输入改进的P3D-ResNet，得到它们的特征；然后，取每个视频片段里所有帧的特征平均值，紧接着对特征均值进行L2范数归一化，从而获得该视频的特征；最后，将这些特征输入到一个3层的全连接神经网络，就会输出视频片段的异常得分。

本申请所构建的残差网络中的3种伪三维残差块结构如图2所示，由于伪三维串行捷径残差块(P3D-A)、伪三维并行捷径残差块(P3D-B)、伪三维串并行捷径残差块(P3D-C)三种块结构按顺序混合排列构成的伪三维残差神经网络(P3D-ResNet)的性能要优于单一的块结构组成的三个变种网络P3D-A ResNet，P3D-BResNet和P3D-C ResNet，因此，本申请用3种伪三维残差块结构按序轮流替换ResNet-50的2维残差块结构，得到块结构多样化的伪三维卷积残差神经网络；在伪三维残差神经网络框架的基础上，再在快捷连接shortcuts部分加入了3×3×3的平均池化操作，并在每个卷积操作后都加入了批量归一化操作，图3给出改进的P3D-ResNet的示意图。

具体包括以下内容：

1.实验数据的准备

以往训练集中的异常行为非常单一，并且有的训练集是人在某个位置上表演并录制而成的，并不能反映视频监控真实场景的情况。

由于以前训练集的局限性，本发明采用一个新的视频级别标签的大规模训练集UCF-Anomaly-Detection-Dataset来评估我们的方法。该训练集由未经剪辑的监控视频组成，总时长较长，共有1900个视频，其中正常视频和异常视频均为950个。该训练集涵盖了13类真实场景的异常事件，包括***人或动物、逮捕嫌疑人、纵火、殴打、交通事故、入室盗窃、***、斗殴、抢劫、枪击事件、扒窃、入店行窃和破坏他人财物等。

将该训练集划分为两部分：训练集包含1610个视频(800个正常视频，810个异常视频)，测试集包含290个视频(150个正常视频，140个异常视频)

2.实验细节设置

将所有视频帧像素统一调整为240×320，帧速统一调整为每秒30帧，为提取伪三维特征，将每个视频根据视频长度分成数个16帧长的视频片段，且连续两个片段间有8帧重叠。

首先，将输入视频数据分割为多个视频片段；其次，将这些视频片段输入改进的伪三维残差神经网络获取特征；然后，取每个视频片段里所有帧的特征平均值；紧接着对特征均值进行L2范数归一化，得到输入视频数据的特征表示；最后，将得到的特征输入一个3层全连接神经网络，以实现输入视频数据异常片段检测。

其中第一层的FC层(全连接层)有512个单元，第二层和第三层的FC层分别有32个和1个单元，FC层间使用50％的Dropout正则化。本实施例将ELU激活函数和Swish激活函数分别用于第一层和最后一层全连接层，并使用初始学***滑约束项系数、稀疏约束项系数和正则化项系数设置为λ₁＝λ₂＝8×10^-5和λ₃＝0.01。

3.评价指标的选用

异常行为检测中的常用评价指标是利用受试者操作特性曲线(ROC)和曲线下对应面积(AUC)。

ROC曲线的横轴是“假正例率”(False Positive Rate，简称FPR)，纵轴是“真正例率”(True Positive Rate，简称TPR)：

其中TP，FN，FP，TN分别表示真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形对应的样例数。ROC曲线越靠近上方，曲线下面积AUC越大，则检测的准确率越高，否则检测准确率越低。

利用分类器获得所有视频片段的异常概率后，绘制出ROC曲线并计算AUC，就能评估异常行为检测方法的性能。具体方法为：1)依据异常概率对视频片段进行降序排序，同时将最大的异常概率作为阈值，则大于或等于这个阈值的示例归为正类，否则归为负类；2)依据分类结果计算假正例率和真正例率，并分别以它们为横坐标、纵坐标，得到坐标轴的一个点；3)将分类阈值按照降序依次设置为其余示例的预测值，按照上述方法就能得到一系列坐标轴上的点；4)将所有坐标点连接成ROC曲线，计算ROC曲线下对应的面积AUC。

本申请与另外两个现有的基于三维神经网络的方法及基准方法在UCF数据集上进行了异常行为检测，并绘制ROC曲线进行性能评估，如图4所示。图4中的①为本申请所提出的基于改进的伪三维残差神经网络的方法：基于视频级标签数据，通过深度多示例方法学习行为模式，利用改进的伪三维残差神经网络作为特征提取器，以使用50％的Dropout正则化的三层全连接神经网络作为分类器，从而实现异常行为的检测；

②为基于三维卷积全连接神经网络的方法(3D CNN)：基于视频级标签数据，利用3维卷积神经网络为特征提取器，以使用50％的Dropout正则化的3层全连接神经网络为分类器，从而实现异常行为的检测；

③为基于34层的三维残差神经网络(3D ResNet-34)的方法：利用3D ResNet-34作为特征提取器，以线性支持向量机(SVM)为分类器，从而实现异常行为的检测；

④为直接使用二分类支持向量机(binary SVM)分类器进行异常行为检测，并将该方法作为基准方法。

本申请与现有的基于三维神经网络框架的方法进行了异常行为检测效果的定量对比，如下表1所示：

表1

Method	Acc.	AUC
			①P3D-ResNet(ours)	89.2	94.6
②C3D+FC	76.6	86.5
			③3D ResNet-34	68.9	72.7
④Binary classifier	50.0	55.5

从图4和表1的实验结果可以看出，相比较于其它三种方法，本申请所提方法的异常行为检测效果最佳。

以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。

Claims (6)

1.基于改进的伪三维残差神经网络的异常行为检测方法，其特征在于，包括以下步骤：

步骤一，基于多示例学习方法，采用仅有粗粒度标记(即视频级别标签)的训练集，对训练集中的每个视频进行数据预处理，将每个视频分割为多个视频片段；

步骤二，对P3D-ResNet网络结构进行改进，将一个视频的所有视频片段分别输入改进的P3D-ResNet，获取每个视频片段里每个视频帧的特征向量；

步骤三，计算每个视频片段里所有帧的特征向量的平均值，并紧接着对特征均值进行L2范数归一化，从而获得该视频片段的特征向量；

步骤四，将步骤三所获得的视频片段的特征向量输入一个3层的全连接神经网络，就会输出视频片段的异常得分；

步骤五，绘制受试者操作特性曲线，计算曲线下对应面积，对输入视频异常片段进行评估。

2.根据权利要求1所述的基于改进的伪三维残差神经网络的异常行为检测方法，其特征在于，步骤一中，将训练集中的每个视频都视为一个包，含有异常行为的视频被标记为正包，没有异常行为的正常视频被标记为负包，调整视频每帧的大小和帧速率，数据预处理方法为：将每个视频分成含有相同帧数的相邻之间有重叠的视频片段，每个视频片段作为正包或负包中的示例。

3.根据权利要求1所述的基于改进的伪三维残差神经网络的异常行为检测方法，其特征在于，步骤二中，对P3D-ResNet网络结构的改进在于，在伪三维卷积残差神经网络框架的基础上，在快捷连接shortcuts部分加入了3×3×3的平均池化操作，并在每个卷积操作后都加入了批量归一化操作。

4.根据权利要求1所述的基于改进的伪三维残差神经网络的异常行为检测方法，其特征在于，对于步骤四中所使用的3层全连接神经网络，用目标函数进行训练。

5.根据权利要求4所述的基于改进的伪三维残差神经网络的异常行为检测方法，其特征在于，步骤四中，目标函数的设计步骤为：

1)在多示例学习算法中，将带有视频级别标签的训练集表示为{(x₁,y₁),…,(x_i,y_i),…,(x_i,y_N)}，其中x_i是训练集中的第i个包，y_i为该包的标签，N为训练集中包的总个数，第i个包又可表示为其中的x_ik表示包x_i的第k个示例，n_i为正包x_i中的示例总数；假设训练集中有N_a个正包，则x_i(i∈[1，N_a])为正包，且y_i＝+1；同时训练集中有N-N_a个负包，则x_j(j∈[N_a+1，N])为负包，且y_j＝-1；

在使用支持向量机(SVM)的标准监督分类问题中，可得到优化目标为：

其中①为风险项，②为正则化项，C为正则化常数，m为训练示例的总数，yi为每个示例的标签，φ(x_i)图像块或视频片段的特征向量，w为模型的权重参数，b为偏置参数；

2)使用排序损失，使异常视频片段比正常片段获得更高的异常分数，考虑到在没有视频片段级注释的情况下，使用多示例排序损失函数：

其中x_ik和x_jl分别表示异常的视频片段和正常的视频片段，f(x_ik)和f(x_jl)分别表示对应的异常得分，且取值范围为[0，1]；

3)不对包中的每个示例进行排序，而是强制只对正的包和负的包中异常得分最高的两个示例进行排序，为了让异常得分最高正示例与异常得分最高负示例在异常分数上相差很大，采用hinge-loss形式的排序损失函数：

4)还需要考虑到视频的时序结构；首先，由于片段序列是连续的，所以相邻的两个视频片段之间的异常得分应该是相对平滑的，通过添加时序平滑性约束最小化相邻的视频片段的异常得分差值；其次，由于在视频中发生异常行为的时间范围通常相对较小，所以正包里示例的得分应该是稀疏的，通过添加稀疏性约束，使得视频片段的异常得分具有稀疏性；结合上述平滑性约束和稀疏性约束，得到完整的目标函数：

其中①为时序平滑约束项，②为稀疏约束项，③为正则化项，w表示模型权重，λ₁、λ₂和λ₃分别表示时序平滑约束项系数、稀疏约束项系数和正则化项系数。

6.根据权利要求1所述的基于改进的伪三维残差神经网络的异常行为检测方法，其特征在于，步骤五中，利用分类器获得每个视频片段的异常概率，绘制ROC曲线，具体方法为：

1)依据异常概率对视频片段进行降序排序，同时将最大的异常概率作为阈值，则大于或等于这个阈值的示例归为正类，否则归为负类；

2)依据分类结果计算假正例率和真正例率，并分别以它们为横坐标、纵坐标，得到坐标轴的一个点；

3)将分类阈值依次设置其它示例的预测值，再按照上述方法，得到一系列坐标轴上的点；

4)将所有坐标点连接成ROC曲线，计算ROC曲线下对应的面积AUC。