CN111814548B

CN111814548B - 一种异常行为检测方法和装置

Info

Publication number: CN111814548B
Application number: CN202010496820.XA
Authority: CN
Inventors: 凌力; 张宁; 沈志凌; 杨承东; 程媛; 汤力成; 刘涛; 王玉; 邹海平; 唐霈; 王皓; 李波; 徐余明; 张定铭; 吴帆; 徐炜
Original assignee: China Railway Siyuan Survey and Design Group Co Ltd
Current assignee: China Railway Siyuan Survey and Design Group Co Ltd
Priority date: 2020-06-03
Filing date: 2020-06-03
Publication date: 2022-12-09
Anticipated expiration: 2040-06-03
Also published as: CN111814548A

Abstract

本申请实施例公开了一种异常行为检测方法和装置，所述方法包括：获取多个相机监测到的视频数据；对所述视频数据进行预处理，得到预处理后的数据；通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据；基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。

Description

一种异常行为检测方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种异常行为检测方法和装置。

背景技术

近年来，我国手段不一的侵犯银行金融业等公共重要场所的行为时有发生，给国家财产以及人民生命安全造成了不同程度的损失和伤害。由此出发，公共场所的异常行为检测已成为当前安全防控***的一个研究热点问题，越来越多的专家学者投身于此领域。

为解决这一问题，科研人员已经提出过多种异常行为监测的方法，根据方法不同，大致可分为：有监督学***衡的，获得精确的有代表性的标签很困难，特别对于异常数据来说，因此训练不方便。无监督学习：例如自动编码器，聚类等，这种方法不需要正常和异常数据的标签信息，对于训练数据更好获得。半监督学习：例如词袋模型、稀疏表示模型、隐马尔可夫模型，单分类支持向量机(Support Vector Machine，SVM)等，半监督学习的主流思路是考虑到异常事件的正负样本数量存在较大偏差，异常事件存在种类多但数量少等特点，基于已标记的群体正常行为运动特征，分别依据概率、距离、重构和样本域等方式来搭建模型，在检测阶段将与该模型不匹配的事件判定为异常事件。

现有异常检测方法在较大的应用场景下，如高铁，地铁、安防等领域，具有很难回避的局限性。主要原因是监控相机的差异性带来的难以分辨和处理的图像尺度变换。无论是数据集扩展、迁移学习方法，还是如CapsNet的性能更高的特征提取模块，还是运用深度学习方法提取更高特征，如人体骨架，使得原始图像与分类检测算法隔离方法等，检测效果均不理想。

因此，需要进一步改进算法来提高检测效果。

发明内容

有鉴于此，本申请实施例为解决现有技术中存在的至少一个问题而提供一种异常行为检测方法和装置。

为达到上述目的，本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种异常行为检测方法，所述方法包括：

获取多个相机监测到的视频数据；

对所述视频数据进行预处理，得到预处理后的数据；

通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据；

基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。

在一种可选的实施方式中，所述方法还包括：

基于所述检测结果，确定热力图和散点图中的异常区域；

将所述异常区域中的异常点映射到二维平面中进行展示。

在一种可选的实施方式中，所述将所述异常区域中的异常点映射到二维平面中进行展示，包括：

将所述异常区域中的异常点映射到原始视频图像中，并以散点图的形式进行展示；和/或，

将所述异常点映射到车站平面图中，并以热力图的形式进行展示。

在一种可选的实施方式中，所述异常行为检测模型包括空间编码模块、时序编解码模块和空间解码模块；

所述通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据，包括：

通过所述空间编码模块提取所述预处理后的数据的空间特征，以及通过所述时序编解码模块提取所述预处理后的数据的时间特征；

通过所述空间解码模块对所述空间特征和所述时间特征进行处理，得到所述预处理后的数据的空间重构数据。

在一种可选的实施方式中，所述空间解码模块包括第一空间解码子模块、第二空间解码子模块和第三空间解码子模块；其中，

所述通过所述空间解码模块对所述空间特征和所述时间特征进行处理，得到所述预处理后的数据的空间重构数据，包括：

通过所述第一空间解码子模块对第一帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第一帧数据对应的空间重构数据；

通过所述第二空间解码子模块对第二帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第二帧数据对应的空间重构数据；

通过所述第三空间解码子模块对第三帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第三帧数据对应的空间重构数据；其中，所述第二帧数据对应的空间重构数据和所述第三帧数据对应的空间重构数据用于对所述异常行为检测模型进行验证；所述第二帧视频数据为所述第一帧视频数据之前的一帧视频数据，所述第三帧视频数据为所述第一帧视频数据之后的一帧视频数据。

在一种可选的实施方式中，所述空间编码模块包括交替连接的卷积层和池化层，所述空间解码模块包括交替连接的反卷积层和反池化层，其中，所述空间编码模块包括的卷积层的数目与所述空间解码模块包括的反卷积层的数目一致，且所述空间编码模块包括的池化层的数目与所述空间解码模块包括的反池化层的数目一致。

在一种可选的实施方式中，所述方法还包括：

针对多个相机的重叠监测区域，基于所述多个相机中各个相机的权值对所述各个相机监测到的重叠监测区域的检测结果进行加权处理，得到所述重叠监测区域的综合检测结果。

在一种可选的实施方式中，所述方法还包括：

基于所述检测结果和历史检测结果，绘制受试者工作特征曲线ROC；

通过所述ROC曲线对所述异常行为检测模型进行训练。

在一种可选的实施方式中，所述方法还包括：

计算所述ROC曲线的曲线下方面积AUC；

根据所述AUC面积，判断是否需要对所述异常行为检测模型进行再训练。

在一种可选的实施方式中，所述方法还包括：

根据所述ROC曲线确定检测阈值；

所述基于所述重构误差确定异常行为的检测结果，包括：

根据所述重构误差计算异常评分；

若所述异常评分小于等于所述检测阈值，则确定检测到异常行为。

在一种可选的实施方式中，所述对所述视频数据进行预处理，得到预处理后的数据，包括：

对所述视频数据进行灰度化处理和归一化处理，得到度化处理和归一化处理后的数据。

在一种可选的实施方式中，在所述获取多个相机监测到的视频数据之前，所述方法还包括：

记录多个相机的相对位置关系和水平旋转角度。

在一种可选的实施方式中，所述通过异常行为检测模型对所述预处理后的数据进行处理之前，所述方法还包括：

获取所述视频数据的三维点云数据；

基于世界坐标系对所述三维点云数据进行地平面检测，得到地平面检测结果；

基于所述地平面检测结果标定所述多个相机的相机外参数矩阵和感兴趣区域ROI；

通过所述相机外参数矩阵将所述三维点云数据映射到世界坐标系中。

第二方面，本申请实施例提供一种异常行为检测装置，包括：

获取单元，用于获取多个相机监测到的视频数据；

预处理单元，用于对所述视频数据进行预处理，得到预处理后的数据；

重构单元，用于通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据；

检测单元，用于基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。

在一种可选的实施方式中，所述装置还包括：

展示单元，用于基于所述检测结果，确定热力图和散点图中的异常区域；

将所述异常区域中的异常点映射到二维平面中进行展示。

在一种可选的实施方式中，所述展示单元，具体用于将所述异常区域中的异常点映射到原始视频图像中，并以散点图的形式进行展示；和/或，

所述重构单元，具体用于通过所述空间编码模块提取所述预处理后的数据的空间特征，以及通过所述时序编解码模块提取所述预处理后的数据的时间特征；

所述重构单元，还用于通过所述第一空间解码子模块对第一帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第一帧数据对应的空间重构数据；

在一种可选的实施方式中，所述装置还包括：

加权单元，用于针对多个相机的重叠监测区域，基于所述多个相机中各个相机的权值对所述各个相机监测到的重叠监测区域的检测结果进行加权处理，得到所述重叠监测区域的综合检测结果。

在一种可选的实施方式中，所述装置还包括：

训练单元，用于基于所述检测结果和历史检测结果，绘制受试者工作特征曲线ROC；

通过所述ROC曲线对所述异常行为检测模型进行训练。

在一种可选的实施方式中，所述装置还包括：

再训练单元，用于计算所述ROC曲线的曲线下方面积AUC；

在一种可选的实施方式中，所述装置还包括：

阈值确定单元，用于根据所述ROC曲线确定检测阈值；

所述检测单元，具体用于根据所述重构误差计算异常评分；

在一种可选的实施方式中，所述预处理单元，具体用于对所述视频数据进行灰度化处理和归一化处理，得到度化处理和归一化处理后的数据。

在一种可选的实施方式中，所述装置还包括：

参数标定单元，用于记录多个相机的相对位置关系和水平旋转角度。

在一种可选的实施方式中，所述装置还包括：

映射单元，用于获取所述视频数据的三维点云数据；

第三方面，本申请实施例提供一种电子设备，所述电子设备包括：

网络接口，用于实现组件之间的连接通信；

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现第一方面所述的异常行为检测方法。

第四方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时，实现第一方面所述的异常行为检测方法。

本申请实施例公开了一种异常行为检测方法，所述方法包括：获取多个相机监测到的视频数据；对所述视频数据进行预处理，得到预处理后的数据；通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据；基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。本申请实施例中以多个相机监测到的视频数据为检测对象，利用异常行为检测模型对视频数据进行重构，通过图像重构误差评估正常程度，实现异常行为检测，从而提高了异常行为检测的准确性和泛化能力。

附图说明

图1为本申请实施例提供的一种异常行为检测方法的流程示意图；

图2为相机坐标系和世界坐标系之间的映射关系示意图；

图3为本申请实施例提供的异常行为检测模型的结构示意图；

图4为本申请实施例提供的ROC曲线的示意图；

图5为本申请实施例提供的一种异常行为检测装置的组成结构示意图；

图6为本申请实施例提供的一种异常行为检测装置的具体硬件结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请公开的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请，而不应被这里阐述的具体实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请公开的范围完整的传达给本领域的技术人员。

在下文的描述中，给出了大量具体的细节以便提供对本申请更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述；即，这里不描述实际实施例的全部特征，不详细描述公知的功能和结构。

在附图中，为了清楚，层、区、元件的尺寸以及其相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。

应当明白，空间关系术语例如“在......下”、“在......下面”、“下面的”、“在......之下”、“在......之上”、“上面的”等，在这里可为了方便描述而被使用从而描述图中所示的一个元件或特征与其它元件或特征的关系。应当明白，除了图中所示的取向以外，空间关系术语意图还包括使用和操作中的器件的不同取向。例如，如果附图中的器件翻转，然后，描述为“在其它元件下面”或“在其之下”或“在其下”元件或特征将取向为在其它元件或特征“上”。因此，示例性术语“在......下面”和“在......下”可包括上和下两个取向。器件可以另外地取向(旋转90度或其它取向)并且在此使用的空间描述语相应地被解释。

在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

随着近年来国内外研究的不断深入，群体异常行为检测领域虽然取得了较大的成果。但是目前为止，这一领域仍然存在一些重点和难点，具体如下：

(1)样本数量不均衡性

在地铁车站实际运营场景下，异常行为通常极少发生，即作为正例样本的异常事件的数量远远少于作为负例样本的正常事件，正例样本和负例样本之间具有数据不平衡性。而且正例样本往往并不单一，正例样本内部也包含不同的情况，具有多样性和差异性。因此，如何应对正例样本稀缺以及对多样性的正例样本进行建模是异常行为检测中需要解决的问题之一。

(2)行为表达的多样性

不同监控场景中，群体异常行为的定义各不相同。地铁车站中站厅层和站台层对群体异常行为的定义就有很大的差别，针对具体单一应用场景算法难以很好地应对场景复杂的地铁***。同时人体各个部位具有较高自由度。不同的场景下人群对同一种行为会有不同的诠释方式，这给算法的特征设计阶段增大了难度。

(3)环境干扰

异常行为检测的环境干扰包含了两个方面难点：一方面监控相机的高度、旋转角度的变化带来的行人尺度的变化和遮挡问题，导致不同位置相机的检测算法难以共享，造成样本数量少，迁移学习难度大等问题，需要选择合适的算法适应相机应用场景的变化；另一方面地铁车站作为室内公共场所，大量的设备和复杂的建筑布局给异常检测带来了极大的难度。人群行为往往受到立柱、隔离带等设施的限制和遮挡，同时光照条件往往存在差异。这对算法提取行为序列中特征信息的能力提出了极高的要求。

(4)实时性和准确性

实际应用场合中，群体异常行为检测算法的性能不仅取决于准确率和误警率，还取决于***的检测速度。现阶段大部分检测算法仍然处于理论研发阶段，没有对准确率和检测速度进行很好地平衡，这在一定程度上降低了算法的实用性。难以达到减少人工工作量和提高运营管理水平的效果。

为此，提出了本申请实施例的以下技术方案。

本申请实施例提供一种异常行为检测方法，图1为本申请实施例提供的一种异常行为检测方法的流程示意图，该方法主要包括以下步骤：

步骤101、获取多个相机监测到的视频数据。

在本申请实施例中，获取多个相机监测到的视频数据，利用相机的相机内参数矩阵将相机监测到的视频数据转化为三维点云数据，设定相机坐标系和世界坐标系，依据世界坐标系对视频数据的三维点云进行地平面检测，自动地取地平面检测结果在图像中的可视区域作为异常行为检测的感兴趣区域(Region of Interest，ROI)，从而无需人工框选或标定。依据世界坐标系对视频数据的三维点云进行地平面检测具体过程为：利用最大似然估计一致(Maximum Likelihood Estimation Sample Consensus，MLESAC)方法或随机抽样一致(Random Sample Consensus，RANSAC)方法自动检测相机坐标系下三维点云中的平面，根据地平面与相机视角的空间约束关系(即基于相机的倾斜角小和相机Z轴值最大的原则查找地平面)，遍历并筛选出地平面，得到相机坐标系下的地平面方程ax+by+cz+d＝0。基于地平面检测结果计算出相机的相机外参数矩阵，即相机坐标系内的点与世界坐标系内的点的转换矩阵。

在本申请实施例中，在获取多个相机监测到的视频数据之前，还需要获取城市轨道交通相机的安装数据，记录多个相机的相对位置关系和水平旋转角度。以在后续的异常行为展示过程中，根据多个相机的相对位置关系和水平旋转角度将异常行为映射到原始视频图像中进行展示。

在本申请实施例中，基于地平面检测结果计算出相机的相机外参数矩阵，通过所述相机外参数矩阵将所述三维点云数据映射到世界坐标系中。其中，三维点云的映射公式如下：

Z_c＝d_p*s (3)

其中，f为相机的焦距，f_x为X轴上的相机焦距，f_y为Y轴上的相机焦距，(c_x，c_y)为相机拍摄图像的像素坐标系中的原点位置，(u，v)为像素坐标，d_x、d_y分别为相机像素在X轴和Y轴两个方向上的尺寸，(X_c，Y_c，Z_c)为相机坐标系下的坐标值，(X_w，Y_w，Z_w)为世界坐标系下的坐标值。基于世界坐标系下4个特殊的特征点

和

在相机坐标系下的映射，得到相机的相机外参数矩阵

相机外参数矩阵

包括旋转分量R和平移分量T。如此，结合相机的相对位置关系和水平旋转角度，即可实现各个相机基于世界坐标系在地铁车站平面图上的映射。

图2为相机坐标系和世界坐标系之间的映射关系示意图，如图2所示，相机坐标系的原点O_c为相机的光心，X_c轴沿相机的横向方向，Y_c轴沿相机的纵向方向，Z_c轴垂直于相机，指向相机的拍摄方向，该相机坐标系满足右手坐标系。为方便计算，将世界坐标系的原点O_w设定为相机原点O_c在地平面的投影，Y_w轴设定为相机坐标系Y_c轴在地面的投影，Z_w坐标轴垂直于地平面向下，该世界坐标系满足右手坐标系。

需要说明的是，本申请实施例中所述相机可以为深度相机。所述深度相机可以获取视频数据的深度值。

步骤102、对所述视频数据进行预处理，得到预处理后的数据。

在本申请实施例中，设定所述视频数据抽取的时间周期T，依据时间周期T获取所述视频数据对应的视频帧数据，以所述视频帧数据作为异常行为检测及展示的基础数据。对所述视频帧数据进行预处理，预处理过程具体为：将视频帧数据按照缩放参数缩放为统一的分辨率并进行灰度化处理，使灰度化处理后的数据仅包括灰度数据和深度数据两个维度数据，从而减少异常行为检测模型的输入维度，对灰度数据和深度数据进行归一化处理，使其服从均值为0，方差为1的正态分布，以便在模型训练阶段能够更好的梯度下降。

步骤103、通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据。

在本申请实施例中，可以利用时间轴上的滑动窗口对所述预处理后的数据进行选取，选取预设帧数的视频数据作为异常行为检测模型的输入；也可以直接将每一帧的所述预处理后的数据依次输入异常行为检测模型。需要说明的是，可以基于异常行为检测模型的训练需求和异常行为检测模型的检测需求而对输入异常行为检测模型的数据进行调整。

在本申请实施例中，通过所述异常行为检测模型对所述图像数据进行处理，得到所述图像数据的重构数据。异常行为检测模型处理的具体过程为：针对输入的图像数据，构建卷积层和最大池化层交替连接的空间编码模块，实现图像数据的空间特征的提取和压缩；构建反卷积层和反池化层交替连接的空间解码模块，对所述空间特征进行处理，得到所述图像数据的空间重构数据。在一些实施例中，本申请实施例中的异常行为检测模型还可以包括时序编解码模块，从而通过所述时序编解码模块提取所述预处理后的数据的时间特征。所述时序编解码模块采用了三层卷积简单循环单元(Convlutional Simple RecurrentUnit，ConvSRU)。所述时序编解码模块通过记忆历史数据来跟踪时序特征，且所述时序编解码模块中加入的SRU单元简化了状态计算过程，从而改善了时序前向传播运算的并行性。

这里，所述空间编码模块包括交替连接的卷积层和池化层，所述空间解码模块包括交替连接的反卷积层和反池化层，其中，所述空间编码模块包括的卷积层的数目与所述空间解码模块包括的反卷积层的数目一致，且所述空间编码模块包括的池化层的数目与所述空间解码模块包括的反池化层的数目一致，以保证异常行为检测模型的输入和输出的维度相同。

图3为本申请实施例提供的异常行为检测模型的结构示意图，由图3可知，本申请实施例中异常行为检测模型包括：第一卷积层conv1、第一池化层Pool1、第二卷积层conv2、第一循环层ConvSRU1、第二循环层ConvSRU2、第三循环层ConvSRU3、第一反卷积层Deconv1、第一反池化层Unpool1和第二反卷积层Deconv2。其中，空间编码模块包括第一卷积层conv1、第一池化层Pool1和第二卷积层conv2；时序编解码模块包括第一循环层ConvSRU1、第二循环层ConvSRU2和第三循环层ConvSRU3；空间解码模块包括第一反卷积层Deconv1、第一反池化层Unpool1和第二反卷积层Deconv2。每一层卷积层采用修正线性单元(RectifiedLinear Unit，ReLU)作为激活函数。且本申请实施例中的异常行为检测模型中涉及到的池化层和反池化层均采用性能较优的最大池化层。本申请实施例中异常行为检测模型具体的特征维度如下表1：

表1

需要说明的是，本申请实施例中的异常行为检测模型中不包括全连接层，异常行为检测模型中使用卷积层取代全连接层，从而可以像标准卷积那样提取空间特征，以在不降低检测精度的情况下，显著提升异常行为检测模型的运算速度，保障检测平台的实时性要求。

在本申请实施例中，所述空间解码模块包括第一空间解码子模块、第二空间解码子模块和第三空间解码子模块；其中，通过所述第一空间解码子模块对第一帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第一帧数据对应的空间重构数据；通过所述第二空间解码子模块对第二帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第二帧数据对应的空间重构数据；通过所述第三空间解码子模块对第三帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第三帧数据对应的空间重构数据；其中，所述第二帧数据对应的空间重构数据和所述第三帧数据对应的空间重构数据用于对所述异常行为检测模型进行验证；所述第二帧视频数据为所述第一帧视频数据之前的一帧视频数据，所述第三帧视频数据为所述第一帧视频数据之后的一帧视频数据。

这里，所述第一帧视频数据、所述第二帧视频数据和所述第三帧视频数据均为相邻时刻的帧数据。通过所述第二空间解码子模块可以增强异常行为检测模型对当前空间特征和时间特征的理解能力，通过所述第三空间解码子模块可以增强异常行为检测模型对未来空间特征和时间特征的预测能力，从而使得异常行为检测模型能够准确分辨出不同行为(正常行为和异常行为)之间的分界，提高异常行为检测模型的检测和识别能力。

在本申请实施例中，基于当前时刻的所述重构数据和所述预处理后的数据确定当前时刻的视频帧数据重构损失函数L_rec，并基于当前时刻的视频帧数据的重构损失函数L_rec，前一时刻的视频帧数据的重构损失函数L_past，后一时刻的视频帧数据的重构损失函数L_future和正则化项φ构建总重构损失函数L_loss，利用总重构损失函数L_loss对异常行为检测模型进行训练，总重构损失函数L_loss的公式如下：

L_loss＝L_res+L_past+L_future+γφ (7)

其中，当前时刻的视频帧数据重构损失函数L_rec的公式如下：

其中，前一时刻的视频帧数据重构损失函数L_past的公式如下：

其中，后一时刻的视频帧数据重构损失函数L_future的公式如下：

其中，X为异常行为检测模型的输入；f_w(X_i)为当前时刻的视频帧数据的重构，g_w(X_i)为前一时刻的视频帧数据的重构，h_w(X_i)为后一时刻的视频帧数据的重构，φ为模型的正则化惩罚项，γ为其对应的权重稀疏，本申请实施例中在总重构损失函数中加入正则化惩罚项以避免异常行为检测模型在训练过程中陷入过拟合。本申请实施例中异常行为检测模型的训练目标为最小化总重构损失函数L_loss，即总重构损失函数L_loss收敛到最小时，异常行为检测模型训练完成。

步骤104、基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。

在本申请实施例中，利用训练后的异常行为检测模型对视频数据中的异常行为进行检测，基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。重构误差函数的公式如下：

e(x，y，t)＝||I(x，y，t)-f_W(I(x，y，t))||₂ (11)

其中，e(x，y，t)为t时刻下的重构误差函数，I(x，y，t)为t时刻下输入异常行为检测模型的视频帧数据，f_W(I(x，y，t))为t时刻下输入异常行为检测模型的视频帧数据的重构数据，对重构误差e(x，y，t)按像素进行汇总得到汇总重构误差e(t)，汇总重构误差的公式如下：

e(t)＝∑_(x，y)e(x，y，t)＝∑_(x，y)||I(x，y，t)-f_W(I(x，y，t))||₂ (12)

根据汇总重构误差e(t)，得到t时刻下输入异常行为检测模型的视频帧数据的正常评分函数s_a(t)，其中，正常评分限制在[0，1]，正常评分函数s_a(t)的公式如下：

其中，min_t e(t)为重构误差的最小值，max_t e(t)为重构误差的最大值。根据正常评价函数s_a(t)得到异常评分函数s_r(t)，异常评分函数s_r(t)的公式如下：

s_r(t)＝1-s_a(t) (14)

其中，异常评分限制在[0，1]。

这里，越符合正常群体行为模式的事件的正常评分越高，越不符合正常群体行为模式的事件的正常评分越低。设置检测阈值，通过检测阈值与异常评分判断是否发生异常行为，若异常评分小于等于检测阈值，则确定检测到异常行为。

在本申请实施例中，针对多个相机的重叠监测区域，基于所述多个相机中各个相机的权值对所述各个相机监测到的重叠监测区域的检测结果进行加权处理，得到所述重叠监测区域的综合检测结果。需要说明的是，获取的多个相机的视频数据中还包括时间戳(Timestamp)标记，从而在针对重叠监测区域进行综合检测时可以以所述视频数据中的时间戳为同步依据。本申请实施例中基于多个相机与事件发生区域的距离d，对各个相机监测到的重叠监测区域的检测结果进行加权，权值计算公式如下：

其中，c为当前相机的最大监测深度值，d_i为不同相机与事件发生区域之间的水平距离，w_i为标准化处理后的权重，该权重满足

的条件。基于各个相机监测到的重叠监测区域的检测结果进行加权求和，从而得到所述重叠监测区域的综合检测结果。在实际应用时，距离越远权重越小，距离越近权重越大。本申请实施例中针对重叠监测区域进行综合检测可以有效纠正偶然性的错误检测结果，从而提高多相机视角重叠监测区域的异常行为检测的可信度。

在本申请实施例中，在检测到异常行为后，还会对异常行为进行展示。具体过程为：基于检测结果，从热力图和散点图中的角度确定异常区域，根据相机的相机内参数矩阵、相机外参数矩阵和缩放参数，将所述异常区域中的异常点映射到原始视频图像中，并以散点图的形式进行展示；和/或，根据记录的多个相机的相对位置关系和水平旋转角度，将所述异常点映射到车站平面图中，并以热力图的形式进行展示。

在本申请实施例中，基于当前检测结果和历史检测结果，绘制受试者工作特征曲线(Receiver Operating Characteristic Curve，ROC)，计算所述ROC曲线的曲线下方面积(Area Under Curve，AUC)，根据所述AUC面积，判断是否需要对所述异常行为检测模型进行再训练。在实际应用时，AUC面积的值越大(接近于1)表明异常行为检测模型的检测效果好，AUC面积的值越小(接近于0.5)则表明异常行为检测模型的检测效果差，基于此，根据所述AUC面积可以自动判别出群体异常行为检测模型的好坏，从而可以判断是否需要对异常行为检测模型进行再训练。需要说明的是，异常行为检测模型的再训练可以以扩展后的训练数据集为样本进行再训练。

在本申请实施例中，可以根据所述ROC曲线确定检测阈值，在异常行为检测过程中，可以基于检测结果的不断累加而优化ROC曲线，从而可以根据不断优化的ROC曲线动态调整检测阈值，以不断优化检测阈值以获得最佳检测阈值。图4为本申请实施例提供的ROC曲线的示意图，如图4所示，最佳检测阈值即为ROC曲线与虚线的交点对应的值。ROC曲线的AUC面积为0.866，等错误率(Equal Error Rate，EER)为0.191，表明该ROC曲线对应的异常行为检测模型的检测效果较好。需要说明的是，图4示意的ROC曲线仅为本申请实施例中的一种示例，并非用于限制本申请，在实际应用时，ROC曲线会因检测结果的不断累积而发生变化。

基于前述异常行为检测方法相同的技术构思，本申请实施例提供一种异常行为检测装置，在一些实施例中，异常行为检测装置可采用软件模块的方式实现，图5为本申请实施例提供的一种异常行为检测装置的组成结构示意图，参见图5，本申请实施例提供的异常行为检测装置包括：

获取单元501，用于获取多个相机监测到的视频数据；

预处理单元502，用于对所述视频数据进行预处理，得到预处理后的数据；

重构单元503，用于通过异常行为检测模型对所述预处理后的数据进行处理，得到所述预处理后的数据的重构数据；

检测单元504，用于基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果。

在其他实施例中，所述装置还包括：

展示单元505，用于基于所述检测结果，确定热力图和散点图中的异常区域；

将所述异常区域中的异常点映射到二维平面中进行展示。

在其他实施例中，所述展示单元505，具体用于将所述异常区域中的异常点映射到原始视频图像中，并以散点图的形式进行展示；和/或，

在其他实施例中，所述异常行为检测模型包括空间编码模块、时序编解码模块和空间解码模块；

所述重构单元503，具体用于通过所述空间编码模块提取所述预处理后的数据的空间特征，以及通过所述时序编解码模块提取所述预处理后的数据的时间特征；

在其他实施例中，所述空间解码模块包括第一空间解码子模块、第二空间解码子模块和第三空间解码子模块；其中，

所述重构单元503，还用于通过所述第一空间解码子模块对第一帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第一帧数据对应的空间重构数据；

在其他实施例中，所述空间编码模块包括交替连接的卷积层和池化层，所述空间解码模块包括交替连接的反卷积层和反池化层，其中，所述空间编码模块包括的卷积层的数目与所述空间解码模块包括的反卷积层的数目一致，且所述空间编码模块包括的池化层的数目与所述空间解码模块包括的反池化层的数目一致。

在其他实施例中，所述装置还包括：

加权单元506，用于针对多个相机的重叠监测区域，基于所述多个相机中各个相机的权值对所述各个相机监测到的重叠监测区域的检测结果进行加权处理，得到所述重叠监测区域的综合检测结果。

在其他实施例中，所述装置还包括：

训练单元507，用于基于所述检测结果和历史检测结果，绘制受试者工作特征曲线ROC；

通过所述ROC曲线对所述异常行为检测模型进行训练。

在其他实施例中，所述装置还包括：

再训练单元508，用于计算所述ROC曲线的曲线下方面积AUC；

在其他实施例中，所述装置还包括：

阈值确定单元509，用于根据所述ROC曲线确定检测阈值；

所述检测单元504，具体用于根据所述重构误差计算异常评分；

在其他实施例中，所述预处理单元502，具体用于对所述视频数据进行灰度化处理和归一化处理，得到度化处理和归一化处理后的数据。

在其他实施例中，所述装置还包括：

参数标定单元5010，用于记录多个相机的相对位置关系和水平旋转角度。

在其他实施例中，所述装置还包括：

映射单元5011，用于获取所述视频数据的三维点云数据；

在本申请实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本申请实施例提供了一种存储介质，该存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述实施例所述的步骤。

参见图6，示出了本申请实施例提供的一种异常行为检测装置600的具体硬件结构，包括：网络接口601、存储器602和处理器603；各个组件通过总线***604耦合在一起。可理解，总线***604用于实现这些组件之间的连接通信。总线***604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线***604。

其中，所述网络接口601，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

存储器602，用于存储能够在处理器603上运行的计算机程序；

处理器603，用于在运行所述计算机程序时，执行前述异常行为检测方法。

可以理解，本申请实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Sync Link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的方法的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器603可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器603中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器603可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路、数字信号处理器、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种异常行为检测方法，其特征在于，所述方法包括：

获取多个相机监测到的视频数据；

对所述视频数据进行预处理，得到预处理后的数据；

基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果；

其中，所述异常行为检测模型包括空间编码模块、时序编解码模块和空间解码模块；

通过所述空间解码模块对所述空间特征和所述时间特征进行处理，得到所述预处理后的数据的空间重构数据；

其中，所述空间解码模块包括第一空间解码子模块、第二空间解码子模块和第三空间解码子模块；其中，

2.根据权利要求1所述的异常行为检测方法，其特征在于，所述方法还包括：

基于所述检测结果，确定热力图和散点图中的异常区域；

将所述异常区域中的异常点映射到二维平面中进行展示。

3.根据权利要求2所述的异常行为检测方法，其特征在于，所述将所述异常区域中的异常点映射到二维平面中进行展示，包括：

4.根据权利要求1所述的异常行为检测方法，其特征在于，

所述空间编码模块包括交替连接的卷积层和池化层，所述空间解码模块包括交替连接的反卷积层和反池化层，其中，所述空间编码模块包括的卷积层的数目与所述空间解码模块包括的反卷积层的数目一致，且所述空间编码模块包括的池化层的数目与所述空间解码模块包括的反池化层的数目一致。

5.根据权利要求1所述的异常行为检测方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的异常行为检测方法，其特征在于，所述方法还包括：

通过所述ROC曲线对所述异常行为检测模型进行训练。

7.根据权利要求6所述的异常行为检测方法，其特征在于，所述方法还包括：

计算所述ROC曲线的曲线下方面积AUC；

8.根据权利要求6所述的异常行为检测方法，其特征在于，所述方法还包括：

根据所述ROC曲线确定检测阈值；

所述基于所述重构误差确定异常行为的检测结果，包括：

根据所述重构误差计算异常评分；

9.根据权利要求1所述的异常行为检测方法，其特征在于，所述对所述视频数据进行预处理，得到预处理后的数据，包括：

10.根据权利要求1所述的异常行为检测方法，其特征在于，在所述获取多个相机监测到的视频数据之前，所述方法还包括：

记录多个相机的相对位置关系和水平旋转角度。

11.根据权利要求10所述的异常行为检测方法，其特征在于，所述通过异常行为检测模型对所述预处理后的数据进行处理之前，所述方法还包括：

获取所述视频数据的三维点云数据；

12.一种异常行为检测装置，其特征在于，包括：

获取单元，用于获取多个相机监测到的视频数据；

检测单元，用于基于所述重构数据和所述预处理后的数据确定重构误差，并基于所述重构误差确定检测结果；

其中，所述空间解码模块包括第一空间解码子模块和第二空间解码子模块；其中，

通过所述第二空间解码子模块对第二帧视频数据对应的空间特征和所述时间特征进行处理，得到所述第二帧数据对应的空间重构数据；其中，所述第二帧数据对应的空间重构数据用于对所述异常行为检测模型进行验证；所述第二帧视频数据为所述第一帧视频数据之前的一帧视频数据。

13.根据权利要求12所述的异常行为检测装置，其特征在于，所述装置还包括：

将所述异常区域中的异常点映射到二维平面中进行展示。

14.根据权利要求13所述的异常行为检测装置，其特征在于，

所述展示单元，具体用于将所述异常区域中的异常点映射到原始视频图像中，并以散点图的形式进行展示；和/或，

15.根据权利要求12所述的异常行为检测装置，其特征在于，

16.根据权利要求12所述的异常行为检测装置，其特征在于，所述装置还包括：

17.根据权利要求12所述的异常行为检测装置，其特征在于，所述装置还包括：

通过所述ROC曲线对所述异常行为检测模型进行训练。

18.根据权利要求17所述的异常行为检测装置，其特征在于，所述装置还包括：

再训练单元，用于计算所述ROC曲线的曲线下方面积AUC；

19.根据权利要求17所述的异常行为检测装置，其特征在于，所述装置还包括：

阈值确定单元，用于根据所述ROC曲线确定检测阈值；

所述检测单元，具体用于根据所述重构误差计算异常评分；

20.根据权利要求12所述的异常行为检测装置，其特征在于，

所述预处理单元，具体用于对所述视频数据进行灰度化处理和归一化处理，得到度化处理和归一化处理后的数据。

21.根据权利要求12所述的异常行为检测装置，其特征在于，所述装置还包括：

22.根据权利要求21所述的异常行为检测装置，其特征在于，所述装置还包括：

映射单元，用于获取所述视频数据的三维点云数据；

23.一种电子设备，其特征在于，所述电子设备包括：

网络接口，用于实现组件之间的连接通信；

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11中任一项所述的异常行为检测方法。

24.一种存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时，实现权利要求1至11中任一项所述的异常行为检测方法。