CN107967440A - 一种基于多区域变尺度3d-hof的监控视频异常检测方法 - Google Patents

Abstract

本发明公开一种基于多区域变尺度3D‑HOF的监控视频异常检测方法，首先获取监控视频作为输入，对视频进行分区处理，然后提取各分区内的变尺度3D‑HOF特征和光流方向信息熵，并组合成最终的检测特征，最后使用稀疏组合学习算法在各分区中学习一个初始稀疏组合集，通过重构误差判断新数据是否异常，并使用正常数据在线更新稀疏组合集。应用本发明，不仅解决了监控视频中存在的透视变形问题，还充分利用不同光流幅值区间内运动信息的差异，可以获得更精确的运动速度信息。本发明适用于监控视频的异常检测，计算复杂度较低，检测结果准确，算法鲁棒性好。本发明在视频分析技术领域有着广泛的应用。

Description

一种基于多区域变尺度3D-HOF的监控视频异常检测方法

技术领域

本发明属于视频分析技术领域，尤其涉及一种基于多区域变尺度 3D-HOF的监控视频异常检测方法，用于监控视频中异常物体及运动模式 检测。

背景技术

监控视频异常检测是视频分析技术领域的一个重要研究方向，在公 共场所的骚乱检测、地铁站入口的逃票检测、火灾预警、入侵监测等场 景有着广泛的应用前景。

目前，大多数异常检测方法是从训练视频中学习物体的正常外观和 运动模式的模型，并基于所建立的模型进行异常检测，却很少考虑物体 在监控视频中的位置信息对外观和运动模式的影响。由于视频中存在透 视变形，同一物体在视频中的不同区域，其外观和运动模式是不同的， 而不同物体在视频的不同区域，其运动模式却有可能相同，因此，在监 控视频的异常检测中，若不考虑物体在视频中的位置信息对外观和运动 模式所带来的影响，将会造成误检，得不到有效的检测结果。

综上所述，在监控视频的异常检测中，不考虑视频中物体的透视变 形问题会出现误检，但单纯地对每个像素建立直方图来解决透视变形的 方法，未将物体的像素作为整体来考虑，将会忽略物体各部分检测结果 的一致性而影响检测效果；而基于区域划分的方法从整段视频的角度将 视频划分为多个区域，以缓解透视变形对异常检测带来的影响，未进一 步考虑视频各区域内光流幅值的不同分布对检测造成的影响，仍可能导 致误检。因此，当前需要一种新的解决透视变形问题的监控视频异常检 测方法，以解决以上问题。

发明内容

本发明要解决的问题是：在监控视频的异常检测技术中，不考虑透 视变形问题会将远处的异常运动误判为近处的正常运动，造成漏检；而 现有的解决透视变形问题的异常检测方法，没有考虑视频中整体与局部 的关系，会导致误检。需要提出一种新的监控视频异常检测方法，提高 检测效果。

为了解决上述问题，本发明提供了一种基于多区域变尺度3D-HOF 的监控视频异常检测方法。该方法基于训练视频中光流幅值的分布规律 进行区域划分，并根据各区域内光流幅值分布范围的差异，提取其变尺 度3D-HOF特征，建立稀疏组合集，从而使用重构误差得到检测结果。

为实现上述目的，本发明采用如下的技术方案

一种基于多区域变尺度3D-HOF的监控视频异常检测方法，对给定场 景下的监控视频集合，进行如下操作：

1)将监控视频分为训练视频和测试视频两部分，其中训练视频由正 常视频组成；计算训练视频的稠密光流，并基于训练视频中光流幅值的 分布规律将视频划分为多个区域；

2)提取视频各分区内每个检测单元的变尺度3D-HOF特征和光流方 向信息熵，并将二者组合成最终的检测特征；

3)在训练视频的各分区内，分别使用稀疏组合学习算法学习其稀疏 组合集；在检测时，通过重构误差判断异常，并在检测过程中使用正常数 据更新稀疏组合集。

作为优选，所述步骤1)具体为：

1.1)使用Horn-Schunck光流法计算训练视频中每帧的稠密光流；

1.2)将训练视频按固定大小分为M块，并将光流幅值分为N个区间后，在每块内统计光流幅值直方图，并将第i块的直方图统计结果转换为向量形式：然后再将其转换为概率分布 转换公式为：

1.3)将1.2)中获得的概率分布作为K-medo i ds聚类算法的输入， 在聚类算法中，以两个概率分布的JS散度作为二者之间的距离，聚类完 成后，按聚类结果将视频划分为多个区域，JS散度的计算公式为：

其中P₁、P₂为两个概率分布。

作为优选，所述步骤2)具体为：

2.1)在各分区内，统计每个分区的光流幅值统计直方图，按幅值区 间内像素点的数量占总像素数的百分比，将幅值区间划分为三个区间B₁、 B₂和B₃，并根据各区间内像素点的数量不同确定不同的幅值尺度，即在 各分区内形成由区间B₁、B₂和、B₃组成的变尺度幅值区间；

2.2)在各分区内，划分光流方向区间：(-180°～-90°]、(-90°～0°]、 (0～90°]和(90°～180°]；

2.3)在每个检测单元中，按照所确定的变尺度幅值区间和方向区间， 统计其变尺度3D-HOF直方图：遍历检测单元中的每个像素，按光流方向 和光流幅值确定其属于哪个区间，然后将对应的统计直条高度加一，获 得变尺度3D-HOF直方图后，将统计结果转换为向量形式；

2.4)在每个检测单元中，按照所确定的光流方向区间，统计光流方 向直方图；遍历检测单元中的每个像素，按光流方向确定其属于哪个光 流方向区间，然后将对应的统计直条高度加一，获得方向直方图后，计 算光流方向信息熵E，信息熵计算公式为：

其中，O_i为第i个光流方向区间所包含的像素点集合，n(O_i)为第i 个光流方向区间所包含的像素点数量，eps为0.000001。

2.5)对于同一检测单元，将提取的变尺度3D-HOF特征和光流方向 信息熵，并将二者组合为一个向量，作为最终的检测特征。

作为优选，所述步骤3)具体是：

3.1)在各分区内，分别使用稀疏组合学习算法学习一个初始稀疏组 合集；

3.2)检测时，在当前帧的各分区内，提取每个检测单元的检测特征， 然后依次使用对应分区的稀疏组合集中的每个稀疏组合重构该检测特 征，如果存在某个稀疏组合的重构误差小于设定阈值，则将此检测单元 标注为正常，并将该检测特征放入相应的正常事件集合中，否则就将其 标注为异常；

3.3)检测完连续h帧后，使用相应分区的正常事件集合中的检测特 征更新对应的稀疏组合集。

作为优选，所述的训练视频是固定位置摄像头拍摄得到的视频，视 频中同一物体在不同位置有较大的外观差异，训练时使用的视频中只包 含正常的物体及运动模式，检测时使用的视频包含异常的物体及运动模 式。

作为优选，步骤3)具体为：在训练视频的各分区内，分别使用稀 疏组合学习算法学习其稀疏组合集，并使用重构误差判断测试视频是否 异常，以第i个分区为例，具体步骤为：

3-1)在该分区内提取训练视频中所有检测单元的检测特征，使用稀 疏组合学习算法，学习一个初始稀疏组合集k＝0；

3-2)在该分区内提取测试视频中检测单元的检测特征，依次使用稀 疏组合集中的稀疏组合重构该检测特征，如果存在某个稀疏 组合的重构误差小于设定阈值，则将此检测单元标注为正常，并将检 测特征放入该稀疏组合对应的正常事件集中，否则就将此检测单元标 记为异常；

3-3)考虑到现实场景中天气、风向变化会影响监控视频中物体外观 和运动模式，在检测时加入稀疏组合集的在线更新：以稀疏组合集中第 e个稀疏组合为例，检测完连续h帧后，使用其对应的正常事件集更新该稀疏组合更新公式为：

其中，为更新后的稀疏组合；k＝0时，为n阶零矩阵,为1×n 的零矩阵，n为稀疏组合中基的个数；为稀疏组合可重构的正 常事件集合，为中正常事件的个数，为中第l个数据的第j 维；δ为一个很小的常数，防止除数为0；为更新稀疏组合的第j 维时，中第l个数据所占的权重，重构误差越小，权重越大；β_l为中第l个数据的重构系数；

3-4)重复步骤3-2)和3-3)，直到检测完所有视频帧。

本发明提供了一种基于多区域变尺度3D-HOF的监控视频异常检测 方法，该方法首先获取训练视频作为输入，然后计算训练视频中每帧图 像的稠密光流，对视频划分区域，在各分区内确定变尺度幅值区间，根 据确定的方向区间和变尺度幅值区间提取其变尺度3D-HOF特征，根据 方向区间计算其光流方向信息熵，并将二者组合为最终的检测特征，最 后，使用稀疏组合学习算法在各分区中学习一个初始稀疏组合集，通过 重构误差判断新数据是否异常，并使用正常数据在线更新稀疏组合集。 应用本发明，解决了监控视频中的透视变形问题，减少离摄像头较远区 域的漏检，提高了异常检测效果。本发明适用于监控视频的异常检测， 计算复杂度较低，检测结果准确，算法鲁棒性好。

本发明的优点是：首先，本发明对视频的不同分区分别进行训练和 检测，解决了视频中存在的透视变形问题；其次，本发明根据各分区内 光流幅值的分布特点，确定不同的变尺度幅值区间，这种方式能够提取 物体更精确的运动速度信息；最后，利用重构误差判断新数据是否异常， 并通过正常数据更新稀疏组合集，可以提高异常检测方法的鲁棒性。

附图说明

图1是本发明基于多区域变尺度3D-HOF的监控视频异常检测方法的 流程图；

图2是本发明基于光流幅值分布相似度的视频分区的操作示例。

具体实施方式

本发明提供了一种基于多区域变尺度3D-HOF的监控视频异常检测 方法，该方法以监控视频作为输入，并提取视频中每帧图像的稠密光流， 然后对视频按以固定大小分块，并根据各块内光流幅值分布相似性将视 频划分为多个区域，然后，在每个分区中，分别提取各检测单元的变尺 度3D-HOF和光流方向信息熵组成的检测特征，最后，采用稀疏组合学 习算法在各分区内分别学习稀疏组合集，通过重构误差判断各检测单元 是否异常，并使用正常数据在线更新对应的稀疏组合集。本发明适用于 监控视频的异常检测，具有很好的鲁棒性，检测结果准确。

本发明包括以下步骤：

1)获取训练视频，所述训练视频是通过固定位置摄像头拍摄的监控 视频，且视频中只包含正常的物体和运动模式。

2)考虑到视频中存在透视变形，即物体到摄像头的距离不同时，外 观和运动模式也有差异，基于这一现象，本发明使用一种基于概率分布 相似度的K-medoids聚类算法将视频划分为多个区域。首先，将视频按 固定大小分块，在各块内统计光流幅值分布，将幅值分布直方图的向量 化结果转换为概率分布，并将其作为K-medoids算法的输入，考虑到输入数据是概率分布，本发明将两个分布之间的JS散度作为聚类算法中数 据距离的度量依据，最后，根据聚类结果将视频划分为多个区域。JS散 度计算公式为：

其中，幅值分布直方图的向量化结果为P₁、P₂分 别为X₁和X₂对应的概率分布，

3)提取视频各分区内每个检测单元的变尺度3D-HOF特征和光流方 向信息熵，并将二者组合成最终的检测特征。

3.1)考虑到视频中像素点的光流幅值的分布规律：光流幅值越小， 对应的像素点越多，体现在直方图上则表现为：从左往右，直方图各直 条的高度呈递减趋势。基于这一特性，本发明基于光流幅值分布和幅值 区间范围大小，从左往右累加直方图各直条高度，按各分区内像素点总 数的97.5％和99％，将该分区的光流幅值区间划分为三个区间：B₁、B₂和B₃；

3.2)基于区间B₁、B₂和B₃内的光流幅值分布可以发现，幅值跨度 小的区间内，像素点的数量反而多：区间B₁的幅值跨度较小，包含大部 分像素点；区间B₂的幅值跨度较大，包含少部分像素点；而区间B₃的幅 值跨度最大，但此区间包含的像素点最少。针对这一特性，本发明根据 区间内的幅值跨度和落入区间内的像素点个数，在不同区间内设置不同 的光流幅值尺度：区间B₁设置较小尺度，使数据的分布更均匀；区间 B₂设置较大尺度，使数据的分布更集中；区间B₃则统计大于某个幅值的 所有像素点个数；

3.3)通过实验可以发现，正六边形可以更好地分割平面，所以在各 分区内，将每帧图像以固定大小的正六边形进行分割，并将连续t帧中 相同位置的正六边形组成的时空块作为一个检测单元；对每个检测单元， 根据光流方向区间：(-180°～-90°]、(-90°～0°]、(0～90°]、(90°～180°]和各 区间的不同光流幅值尺度来统计变尺度3D-HOF直方图：对于检测单元 中的每个像素，按光流方向和光流幅值确定其属于哪个区间，然后将对 应的统计直条高度加一。将直方图统计结果向量化后即得到该检测单元 的变尺度3D-HOF特征；

3.4)对每个检测单元，根据光流方向区间：(-180°～-90°]、(-90°～0°]、 (0～90°]和(90°～180°]统计直方图，然后计算其光流方向信息熵。信息熵E 的计算公式为：

其中，O_i为第i个光流方向区间所包含的像素点集合，n(O_i)为第i个光流 方向区间所包含的像素点总数，eps为0.000001，防止除零错误。

3.5)将每个检测单元中的变尺度3D-HOF特征和光流方向信息熵， 组合为一个向量，作为该检测单元的检测特征。

4)在训练视频的各分区内，分别使用稀疏组合学习算法学习其稀疏 组合集，并使用重构误差判断测试视频是否异常。以第i个分区为例， 具体步骤为：

4.1)在该分区内提取训练视频中所有检测单元的检测特征，使用稀 疏组合学习算法，学习一个初始稀疏组合集k＝0；

4.2)在该分区内提取测试视频中检测单元的检测特征，依次使用稀 疏组合集中的稀疏组合重构该检测特征，如果存在某个稀疏 组合的重构误差小于设定阈值，则将此检测单元标注为正常，并将检 测特征放入该稀疏组合对应的正常事件集中，否则就将此检测单元标 记为异常；

4.3)考虑到现实场景中天气、风向变化会影响监控视频中物体外观 和运动模式，本发明在检测时加入稀疏组合集的在线更新：以稀疏组合 集中第e个稀疏组合为例，检测完连续h帧后，使用其对应的正常事 件集更新该稀疏组合更新公式为：

其中，为更新后的稀疏组合；k＝0时，为n阶零矩阵,为1×n的 零矩阵，n为稀疏组合中基的个数；为稀疏组合可重构的正常 事件集合，为中正常事件的个数，为中第l个数据的第j维； δ为一个很小的常数，防止除数为0；为更新稀疏组合的第j维时， 中第l个数据所占的权重，重构误差越小，权重越大；β_l为中第l 个数据的重构系数。

4.4)重复步骤4.2)和4.3)，直到检测完所有视频帧。

本发明在视频分析技术领域有着广泛的应用，例如：公共场所的骚 乱检测、地铁站入口的逃票检测、火灾预警和入侵监测等。下面参照附 图，对本发明进行详尽的描述。

(1)在本发明的实施例中，从训练视频中计算稠密光流，计算方法 为Horn-Schunck光流法。

(2)对视频划分区域，具体做法为：首先，将所有训练视频合成一 个连续的视频，并按固定大小(W×H)将视频不重叠分块；然后，统计各 块内的光流幅值分布直方图，并将直方图向量化后的数据转换为概率分 布，作为K-medoids聚类算法的输入，将聚类中心的个数设置为4；在聚 类算法中，本发明使用JS散度来度量两个概率分布的相似程度；聚类完成后，将属于同一类的所有分块划分为一个区域。

(3)提取视频各分区内的变尺度3D-HOF特征和光流方向信息熵。

(3.1)根据分区内的幅值分布，确定变尺度区间。首先，找到分区 中的最大光流幅值f_{mag_max}，将幅值区间[0.04,f_{mag_max}]等分为30个区间； 统计该分区内的光流幅值直方图，然后从左往右依次累加各直条高度， 当累加值分别达到像素总数的97.5％和99％时，记录当前光流幅值和 最后根据和将区间[0.04,f_{mag_max}]划分三个区间B₁,B₂,B₃, 分别为：[0.04,)，[)，[+∞)；

(3.2)根据各区间内像素点的数量不同，确定不同的光流幅值尺度， 即在各分区内形成由区间B₁、B₂和、B₃组成的变尺度幅值区间。区间B₁设置较小幅值尺度；区间B₂设置较大幅值尺度；区间B₃统计所有幅值大 于的像素点个数；

(3.3)在各分区内，对每帧图像以半径为6像素的正六边形进行分 割，并将连续5帧中相同位置的正六边形组成的时空块作为一个检测单 元；遍历检测单元中的每个像素点，根据所确定的方向区间： (-180°～-90°]、(-90°～0°]、(0～90°]、(90°～180°]和变尺度幅值区间B₁、B₂、 B₃统计变尺度3D-HOF直方图：当像素点的光流方向和幅值属于某个区间时就将对应的直条高度加一，遍历完成后得到该检测单元的变尺度 3D-HOF特征；

(3.4)遍历检测单元中的每个像素点，根据光流方向区间： (-180°～-90°]、(-90°～0°]、(0～90°]和(90°～180°]进行直方图统计：当像素 点的光流方向属于某个区间时，就将对应的直条高度加1，最后使用光流 方向统计结果计算其光流方向信息熵；

(3.5)将变尺度3D-HOF特征以列向量方式保存，并将其光流方向 信息熵添加到变尺度3D-HOF特征中作为最后一维，即得到每个检测单元 的检测特征。

(4)使用稀疏组合学习算法学习稀疏组合集，并使用重构误差判断 是否异常。

4.1)在各分区内提取训练视频所有检测单元的检测特征，然后使用 稀疏组合学习算法从各分区中分别训练一个初始稀疏组合集，稀疏组合 集中每个稀疏组合包含的基向量数量设置为20；

4.2)在分区内提取测试视频中各检测单元的检测特征，依次使用对 应稀疏组合集中的每个稀疏组合重构检测特征，如果存在某个稀疏组合 的重构误差小于设定阈值，则将此检测单元标注为正常，并将检测特征 放入该稀疏组合对应的正常事件集中，否则就将此检测单元标记为异常；

4.3)以步骤4.2)的方式检测连续50帧后，依次使用不为空的正 常事件集合，更新对应的稀疏组合。

4.4)重复步骤4.2)和4.3)，直到检测完所有测试视频帧。

在Intel Core i5-4460 3.20GHz CPU和Win10 64位操作***下，采用 MATLABR2015a编程实现该方法。

本发明提供了一种基于多区域变尺度3D-HOF的监控视频异常检测 方法，适用于监控视频的异常检测，计算复杂度较低，检测结果准确， 算法鲁棒性好。实验表明该方法能够快速有效的进行异常检测。

Claims (6)

1.一种基于多区域变尺度3D-HOF的监控视频异常检测方法，其特征在于，对给定场景下的监控视频集合，进行如下操作：

1)将监控视频分为训练视频和测试视频两部分，其中训练视频由正常视频组成；计算训练视频的稠密光流，并基于训练视频中光流幅值的分布规律将视频划分为多个区域；

2)提取视频各分区内每个检测单元的变尺度3D-HOF特征和光流方向信息熵，并将二者组合成最终的检测特征；

3)在训练视频的各分区内，分别使用稀疏组合学习算法学习其稀疏组合集；在检测时，通过重构误差判断异常，并在检测过程中使用正常数据更新稀疏组合集。

2.根据权利要求1所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法，其特征在于，所述步骤1)具体为：

1.1)使用Horn-Schunck光流法计算训练视频中每帧的稠密光流；

1.2)将训练视频按固定大小分为M块，并将光流幅值分为N个区间后，在每块内统计光流幅值直方图，并将第i块的直方图统计结果转换为向量形式：然后再将其转换为概率分布转换公式为：

1.3)将1.2)中获得的概率分布作为K-medoids聚类算法的输入，在聚类算法中，以两个概率分布的JS散度作为二者之间的距离，聚类完成后，按聚类结果将视频划分为多个区域，JS散度的计算公式为：

其中P₁、P₂为两个概率分布。

3.根据权利要求2所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法，其特征在于，所述步骤2)具体为：

2.1)在各分区内，统计每个分区的光流幅值统计直方图，按幅值区间内像素点的数量占总像素数的百分比，将幅值区间划分为三个区间B₁、B₂和B₃，并根据各区间内像素点的数量不同确定不同的幅值尺度，即在各分区内形成由区间B₁、B₂和、B₃组成的变尺度幅值区间；

2.2)在各分区内，划分光流方向区间：(-180°～-90°]、(-90°～0°]、(0～90°]和(90°～180°]；

2.3)在每个检测单元中，按照所确定的变尺度幅值区间和方向区间，统计其变尺度3D-HOF直方图：遍历检测单元中的每个像素，按光流方向和光流幅值确定其属于哪个区间，然后将对应的统计直条高度加一，获得变尺度3D-HOF直方图后，将统计结果转换为向量形式；

2.4)在每个检测单元中，按照所确定的光流方向区间，统计光流方向直方图；遍历检测单元中的每个像素，按光流方向确定其属于哪个光流方向区间，然后将对应的统计直条高度加一，获得方向直方图后，计算光流方向信息熵E，信息熵计算公式为：

其中，O_i为第i个光流方向区间所包含的像素点集合，n(O_i)为第i个光流方向区间所包含的像素点数量，eps为0.000001。

2.5)对于同一检测单元，将提取的变尺度3D-HOF特征和光流方向信息熵，并将二者组合为一个向量，作为最终的检测特征。

4.根据权利要求3所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法，其特征在于，所述步骤3)具体是：

3.1)在各分区内，分别使用稀疏组合学习算法学习一个初始稀疏组合集；

3.2)检测时，在当前帧的各分区内，提取每个检测单元的检测特征，然后依次使用对应分区的稀疏组合集中的每个稀疏组合重构该检测特征，如果存在某个稀疏组合的重构误差小于设定阈值，则将此检测单元标注为正常，并将该检测特征放入相应的正常事件集合中，否则就将其标注为异常；

3.3)检测完连续h帧后，使用相应分区的正常事件集合中的检测特征更新对应的稀疏组合集。

5.根据权利要求1所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法，其特征在于，所述的训练视频是固定位置摄像头拍摄得到的视频，视频中同一物体在不同位置有较大的外观差异，训练时使用的视频中只包含正常的物体及运动模式，检测时使用的视频包含异常的物体及运动模式。

6.根据权利要求3所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法，其特征在于，步骤3)具体为：在训练视频的各分区内，分别使用稀疏组合学习算法学习其稀疏组合集，并使用重构误差判断测试视频是否异常，以第i个分区为例，具体步骤为：

3-1)在该分区内提取训练视频中所有检测单元的检测特征，使用稀疏组合学习算法，学习一个初始稀疏组合集k＝0；

3-2)在该分区内提取测试视频中检测单元的检测特征，依次使用稀疏组合集中的稀疏组合重构该检测特征，如果存在某个稀疏组合的重构误差小于设定阈值，则将此检测单元标注为正常，并将检测特征放入该稀疏组合对应的正常事件集中，否则就将此检测单元标记为异常；

3-3)考虑到现实场景中天气、风向变化会影响监控视频中物体外观和运动模式，在检测时加入稀疏组合集的在线更新：以稀疏组合集中第e个稀疏组合为例，检测完连续h帧后，使用其对应的正常事件集更新该稀疏组合更新公式为：

其中，为更新后的稀疏组合；k＝0时，为n阶零矩阵,为1×n的零矩阵，n为稀疏组合中基的个数；为稀疏组合可重构的正常事件集合，为中正常事件的个数，为中第l个数据的第j维；δ为一个很小的常数，防止除数为0；为更新稀疏组合的第j维时，中第l个数据所占的权重，重构误差越小，权重越大；β_l为中第l个数据的重构系数；

3-4)重复步骤3-2)和3-3)，直到检测完所有视频帧。