CN112866654A - 一种智能视频监控*** - Google Patents

Abstract

本发明提供了一种智能视频监控***，包括实时获取监控空间范围内视频流的多个摄像机，对多个摄像机的视频流进行处理的视频微处理器，与视频微处理器通过无线网络连接的监控中心；视频微处理器包括视频数据获取模块、视频数据预处理模块、视频数据特征提取模块、异常检测模型建立模块和异常判定模块。本发明视频数据特征提取模块通过多示例划分并采用时间序列对连续帧之间的运动变化趋势进行建模，解决了不同视角下运动速度知觉不同的问题，异常检测模型建立模块通过基于聚类的非参数模型来对特征空间进行建模，解决了训练数据类别标签不清晰的问题，并在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。

Description

一种智能视频监控***

技术领域

本发明属于视频监控技术领域，具体来说，涉及一种智能视频监控***。

背景技术

视频监控是安全防范***的重要组成部分，传统的监控***包括前端摄像机、传输线缆、视频监控平台，摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。现有的视频监控***通过将图像处理技术以及人工智能技术结合从容应对复杂环境及场景的各种事件检测，但是由于监控视频异常事件检测算法的目的是要理解视频数据中各种运动事件的具体意义，并对此进行相应的区分从而找出相应的异常运动事件向管理人员发出警报。所以对于异常事件检测算法而言，除了要面对图像噪声相关的干扰之外，在研究过程中还面临着以下几个问题：

1、异常事件定义模糊。一般来讲根据正常运动事件的特征构造出相应的检测模型，将那些运动特征不符合该模型的事件判断为异常事件。但是有些事件特征并不是可以清晰判定的，例如，对于交通分叉路口，根据交通信号灯的不同该路口对应的正常事件也是不同的。

2、训练数据类别标签不清晰。在实际应用过程中，视频异常事件检测算法所面对的都是现实当中的监控场景，然而现实中的运动事件人们是无法预知的，并且某些运动事件我们无法给其打上特定的标签。然而在检测算法处理过程当中，往往会根据监控视频中不同运动事件的类别，来选取最佳的人工特征来对其进行抽象描述，以期达到最佳的检测效果，例如基于像素点光流值的光流直方图特征适用于描述处于运动状态的物体，而对于那些处于静止状态的物体其描述效果就会大打折扣。在无法预知监控视频当中物体的运动事件类别标签的前提下，会使得检测算法无法选取最合适的特征来进行建模。

3、不同视角运动速度知觉不同。运动速度知觉是指观察者对处于运动中的物体的实际运动速度的感知能力，在监控视频的异常事件检测当中，监控摄像机扮演了观察者的角色，来负责对监控视频中的各个运动物体进行速度感知。然而观察者对于运动物体实际运动速度的感知往往会受到多方面因素的影响，例如运动物体的大小、距离观察者的距离等，均会对观察者的感知能力产生影响。

发明内容

为了解决上述现有技术的不足之处，本发明的目的在于提供一种智能视频监控***，以克服现有技术中的缺陷。

为了实现上述目的，本发明提供了一种智能视频监控***，包括设定的监控空间，实时获取所述监控空间范围内的视频流的多个摄像机，对多个摄像机的视频流进行处理的视频微处理器，以及与视频微处理器通过无线网络连接的监控中心；其中，视频微处理器包括视频数据获取模块，多个摄像机和监控中心分别与视频数据获取模块连接，视频数据获取模块与视频数据预处理模块连接，视频数据预处理模块与视频数据特征提取模块连接，视频数据特征提取模块与异常检测模型建立模块连接，异常检测模型建立模块与异常事件判定模块连接，异常事件判定模块分别与视频数据特征提取模块和监控中心连接；视频数据获取模块用于获取多个摄像机的视频流和监控中心的训练视频流；视频数据预处理模块用于对多个摄像机的视频流和监控中心的训练视频流进行预处理；视频数据特征提取模块用于通过多示例划分的方法将多个摄像机的视频流和监控中心的训练视频流划分为多个示例，并提取每一示例的运动特征向量；异常检测模型建立模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；异常事件判定模块用于比较多个摄像机的视频流的运动特征向量与运动事件类别识别模型之间的差异性，判断多个摄像机的视频流的运动特征向量的运动事件类别，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心。

通过上述技术方案，视频数据特征提取模块通过多示例划分并采用时间序列对连续帧之间的运动变化趋势进行建模，解决了不同视角下运动速度知觉不同的问题，异常检测模型建立模块通过基于聚类的非参数模型来对特征空间进行建模，解决了训练数据类别标签不清晰的问题。

作为对本发明所述的智能视频监控***的进一步说明，优选地，视频数据获取模块包括第一获取子模块和第二获取子模块，第一获取子模块与监控中心连接，第二获取子模块与多个摄像机连接；第一获取子模块用于获取监控中心的训练视频流作为训练视频数据集；第二获取子模块用于获取多个摄像机的视频流作为测试视频数据集。

通过上述技术方案，视频数据获取模块包括第一获取子模块和第二获取子模块，来实现获取摄像机的测试视频数据集和监控中心的训练视频数据集。

作为对本发明所述的智能视频监控***的进一步说明，优选地，视频数据预处理模块包括视频采样子模块，视频采样子模块与图像去噪子模块连接，图像去噪子模块与滤波子模块连接，滤波子模块与颜色空间转换子模块连接，颜色空间转换子模块与背景去除子模块连接，背景去除子模块与前景运动物体提取跟踪子模块连接；其中，视频采样子模块用于从视频中提取图像帧；图像去噪子模块用于通过CSF滤波器对每一图像帧进行去噪；滤波子模块用于通过高斯滤波器对视频中每一图像帧进行水平和垂直方向的多尺度划分处理；颜色空间转换子模块用于将每一图像帧从RGB颜色空间转换到HSV颜色空间；背景去除子模块用于去除子图像帧中的背景图像；前景运动物体提取跟踪子模块用于提取图像帧中的前景运动图像。

通过上述技术方案，视频数据预处理模块包含有图像去噪、滤波、颜色空间转换、视频采样、背景去除、前景运动物体提取跟踪等子模块，可以剔除监控视频当中一些不必要的信息，使得后续步骤不再需要考虑视频图像自身的各种干扰；或是对视频图像进行一些分割、分类等操作，为后续处理提供便利。

作为对本发明所述的智能视频监控***的进一步说明，优选地，视频数据特征提取模块包括目标划分子模块，目标划分子模块与图像包划分子模块连接，图像包划分子模块与多实例划分子模块连接，多实例划分子模块与时空块密集采样子模块连接，时空块密集采样子模块与光流特征计算子模块连接；其中，目标划分子模块用于根据时间序列对图像帧之间的前景运动图像的运动变化趋势进行分析，确定前景目标物体；图像包划分子模块用于将同一前景目标物体的视频流划分为一个图像包；多实例划分子模块用于对每个图像包进行多示例划分，得到M个示例流；时空块密集采样子模块用于对每个示例流按空间上从上到下、从左到右划分成互不重叠的块，以及按连续的时间序列重复采样，得到N个视频采集块；光流特征计算子模块用于对各视频采集块进行光流阈值计算，得到每个视频采集块对应的运动特征向量。

通过上述技术方案，视频数据特征提取模块包含目标划分子模块、图像包划分子模块、多实例划分子模块、时空块密集采样子模块、光流特征计算子模块，可以针对视频流中目标的运动特性，在对视频流进行特征提取的时候，采用多示例的方法来对视频流进行划分，使得在划分之后的每一个示例当中，同一个运动物体的不同光流向量之间的差异可以被忽略不计。

作为对本发明所述的智能视频监控***的进一步说明，优选地，异常检测模型建立模块包括建模子模块和更新子模块；其中，建模子模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；更新子模块用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型。

通过上述技术方案，异常检测模型建立模块在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。

作为对本发明所述的智能视频监控***的进一步说明，优选地，建模子模块通过K均值算法对运动特征向量进行聚类，将其聚类为多个运动事件。

作为对本发明所述的智能视频监控***的进一步说明，优选地，异常事件判定模块判定存在异常事件时，异常事件判定模块将多个摄像机的视频流的运动特征向量传输至异常检测模型建立模块，更新子模块将多个摄像机的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。

作为对本发明所述的智能视频监控***的进一步说明，优选地，异常判定模块包括时间序列预测子模块，时间序列预测子模块与差异性对比子模块连接，差异性对比子模块与报警信息生成子模块连接；其中，时间序列预测子模块用于通过时间序列预测模型对多个摄像机的视频流的运动特征向量进行训练，筛选出异常的运动特征向量；差异性对比子模块用于在异常的运动特征向量与运动事件类别识别模型之间的差异性大于可接受阈值时，判定该运动事件为异常事件；报警信息生成子模块用于在差异性对比子模块判定存在异常事件时，产生报警信息通过无线网络发送至监控中心。

通过上述技术方案，异常判定模块包括时间序列预测子模块、差异性对比子模块和报警信息生成子模块，在第一时间可预警场景监控清单之下的异常行为，达到监控异常行为实时预警及报警的功能。

本发明的有益效果：本发明提供了一个智能视频监控***，其中，视频数据特征提取模块通过多示例划分并采用时间序列对连续帧之间的运动变化趋势进行建模，可以提取视频内容感知重要信息，并且实现算法在实际场景下指定异常行为检测的准确应用，解决了不同视角下运动速度知觉不同的问题，异常检测模型建立模块通过基于聚类的非参数模型来对特征空间进行建模，实现了视频监控中异常行为结果的判断和准确分类，解决了训练数据类别标签不清晰的问题，并在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。

附图说明

图1是本发明的智能视频监控***的结构示意图。

图2是本发明的视频数据获取模块的结构示意图。

图3是本发明的视频数据预处理模块的结构示意图。

图4是本发明的视频数据特征提取模块的结构示意图。

图5是本发明的异常检测模型建立模块的结构示意图。

图6是本发明的异常事件判定模块的结构示意图。

具体实施方式

为了能够进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例附以附图详细说明如下，本附图所说明的实施例仅用于说明本发明的技术方案，并非限定本发明。

首先，请参考图1，图1是本发明的智能视频监控***的结构示意图。智能视频监控***包括设定的监控空间，实时获取所述监控空间范围内的视频流的多个摄像机1，对多个摄像机1的视频流进行处理的视频微处理器2，以及与视频微处理器2通过无线网络连接的监控中心3；其中，视频微处理器2包括视频数据获取模块21，多个摄像机1和监控中心3分别与视频数据获取模块21连接，视频数据获取模块21与视频数据预处理模块22连接，视频数据预处理模块22与视频数据特征提取模块23连接，视频数据特征提取模块23与异常检测模型建立模块24连接，异常检测模型建立模块24与异常事件判定模块25连接，异常事件判定模块25分别与视频数据特征提取模块23和监控中心3连接；视频数据获取模块21用于获取多个摄像机1的视频流和监控中心3的训练视频流；视频数据预处理模块22用于对多个摄像机1的视频流和监控中心3的训练视频流进行预处理；视频数据特征提取模块23用于通过多示例划分的方法将多个摄像机1的视频流和监控中心3的训练视频流划分为多个示例，并提取每一示例的运动特征向量；异常检测模型建立模块24用于通过聚类的非参数模型对监控中心3的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；异常事件判定模块25用于比较多个摄像机1的视频流的运动特征向量与运动事件类别识别模型之间的差异性，判断多个摄像机1的视频流的运动特征向量的运动事件类别，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心3。

请参考图2，视频数据获取模块21包括第一获取子模块211和第二获取子模块212，第一获取子模块211与监控中心3连接，第二获取子模块212与多个摄像机1连接；第一获取子模块211用于获取监控中心3的训练视频流作为训练视频数据集；第二获取子模块212用于获取多个摄像机1的视频流作为测试视频数据集。

请参考图3，视频数据预处理模块22包括视频采样子模块221，视频采样子模块221与图像去噪子模块222连接，图像去噪子模块222与滤波子模块223连接，滤波子模块223与颜色空间转换子模块224连接，颜色空间转换子模块224与背景去除子模块225连接，背景去除子模块225与前景运动物体提取跟踪子模块226连接；其中，视频采样子模块221用于从视频中提取图像帧；图像去噪子模块222用于通过CSF滤波器对每一图像帧进行去噪；CSF滤波器为点云地面点滤波(Cloth Simulation Filter,CSF)；滤波子模块223用于通过高斯滤波器对视频中每一图像帧进行水平和垂直方向的多尺度划分处理；颜色空间转换子模块224用于将每一图像帧从RGB颜色空间转换到HSV颜色空间；背景去除子模块225用于去除子图像帧中的背景图像；前景运动物体提取跟踪子模块226用于提取图像帧中的前景运动图像。视频数据预处理模块包含有图像去噪、滤波、颜色空间转换、视频采样、背景去除、前景运动物体提取跟踪等子模块，可以剔除监控视频当中一些不必要的信息，使得后续步骤不再需要考虑视频图像自身的各种干扰；或是对视频图像进行一些分割、分类等操作，为后续处理提供便利。

请参考图4，视频数据特征提取模块23包括目标划分子模块231，目标划分子模块231与图像包划分子模块232连接，图像包划分子模块232与多实例划分子模块233连接，多实例划分子模块233与时空块密集采样子模块234连接，时空块密集采样子模块234与光流特征计算子模块235连接；其中，目标划分子模块231用于根据时间序列对图像帧之间的前景运动图像的运动变化趋势进行分析，确定前景目标物体；图像包划分子模块232用于将同一前景目标物体的视频流划分为一个图像包；多实例划分子模块233用于对每个图像包进行多示例划分，得到M个示例流；时空块密集采样子模块234用于对每个示例流按空间上从上到下、从左到右划分成互不重叠的块，以及按连续的时间序列重复采样，得到N个视频采集块；光流特征计算子模块235用于对各视频采集块进行光流阈值计算，得到每个视频采集块对应的运动特征向量。视频数据特征提取模块包含目标划分子模块、图像包划分子模块、多实例划分子模块、时空块密集采样子模块、光流特征计算子模块，可以针对视频流中目标的运动特性，在对视频流进行特征提取的时候，采用多示例的方法来对视频流进行划分，使得在划分之后的每一个示例当中，同一个运动物体的不同光流向量之间的差异可以被忽略不计。

请参考图5，异常检测模型建立模块24包括建模子模块241和更新子模块242；其中，建模子模块241用于通过聚类的非参数模型对监控中心3的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；更新子模块242用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型。优选地，建模子模块241通过K均值算法对运动特征向量进行聚类，将其聚类为多个运动事件。异常事件判定模块25判定存在异常事件时，异常事件判定模块25将多个摄像机1的视频流的运动特征向量传输至异常检测模型建立模块24，更新子模块242将多个摄像机1的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。异常检测模型建立模块对视频数据特征提取模块输出的运动特征向量进行学习，找出特征之间的相似性和差异处，并根据向量之间的相似性将代表相同或相似运动的特征归类到一起，形成一个个代表不同事件的事件簇。通过更新子模块在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。

请参考图6，异常事件判定模块25包括时间序列预测子模块251，时间序列预测子模块251与差异性对比子模块252连接，差异性对比子模块252与报警信息生成子模块253连接；其中，时间序列预测子模块251用于通过时间序列预测模型对多个摄像机1的视频流的运动特征向量进行训练，筛选出异常的运动特征向量；差异性对比子模块252用于在异常的运动特征向量与运动事件类别识别模型之间的差异性大于可接受阈值时，判定该运动事件为异常事件；报警信息生成子模块253用于在差异性对比子模块252判定存在异常事件时，产生报警信息通过无线网络发送至监控中心3。异常判定模块包括时间序列预测子模块、差异性对比子模块和报警信息生成子模块，在第一时间可预警场景监控清单之下的异常行为，达到监控异常行为实时预警及报警的功能。

需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换或改进。本发明的保护范围以所附权利要求书为准。

Claims (8)

1.一种智能视频监控***，其特征在于，包括设定的监控空间，实时获取所述监控空间范围内的视频流的多个摄像机(1)，对多个摄像机(1)的视频流进行处理的视频微处理器(2)，以及与视频微处理器(2)通过无线网络连接的监控中心(3)；其中，

视频微处理器(2)包括视频数据获取模块(21)，多个摄像机(1)和监控中心(3)分别与视频数据获取模块(21)连接，视频数据获取模块(21)与视频数据预处理模块(22)连接，视频数据预处理模块(22)与视频数据特征提取模块(23)连接，视频数据特征提取模块(23)与异常检测模型建立模块(24)连接，异常检测模型建立模块(24)与异常事件判定模块(25)连接，异常事件判定模块(25)分别与视频数据特征提取模块(23)和监控中心(3)连接；

视频数据获取模块(21)用于获取多个摄像机(1)的视频流和监控中心(3)的训练视频流；

视频数据预处理模块(22)用于对多个摄像机(1)的视频流和监控中心(3)的训练视频流进行预处理；

视频数据特征提取模块(23)用于通过多示例划分的方法将多个摄像机(1)的视频流和监控中心(3)的训练视频流划分为多个示例，并提取每一示例的运动特征向量；

异常检测模型建立模块(24)用于通过聚类的非参数模型对监控中心(3)的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；

异常事件判定模块(25)用于比较多个摄像机(1)的视频流的运动特征向量与运动事件类别识别模型之间的差异性，判断多个摄像机(1)的视频流的运动特征向量的运动事件类别，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心(3)。

2.如权利要求1所述的智能视频监控***，其特征在于，视频数据获取模块(21)包括第一获取子模块(211)和第二获取子模块(212)，第一获取子模块(211)与监控中心(3)连接，第二获取子模块(212)与多个摄像机(1)连接；第一获取子模块(211)用于获取监控中心(3)的训练视频流作为训练视频数据集；第二获取子模块(212)用于获取多个摄像机(1)的视频流作为测试视频数据集。

3.如权利要求1所述的智能视频监控***，其特征在于，视频数据预处理模块(22)包括视频采样子模块(221)，视频采样子模块(221)与图像去噪子模块(222)连接，图像去噪子模块(222)与滤波子模块(223)连接，滤波子模块(223)与颜色空间转换子模块(224)连接，颜色空间转换子模块(224)与背景去除子模块(225)连接，背景去除子模块(225)与前景运动物体提取跟踪子模块(226)连接；其中，

视频采样子模块(221)用于从视频中提取图像帧；

图像去噪子模块(222)用于通过CSF滤波器对每一图像帧进行去噪；

滤波子模块(223)用于通过高斯滤波器对视频中每一图像帧进行水平和垂直方向的多尺度划分处理；

颜色空间转换子模块(224)用于将每一图像帧从RGB颜色空间转换到HSV颜色空间；

背景去除子模块(225)用于去除子图像帧中的背景图像；

前景运动物体提取跟踪子模块(226)用于提取图像帧中的前景运动图像。

4.如权利要求1所述的智能视频监控***，其特征在于，视频数据特征提取模块(23)包括目标划分子模块(231)，目标划分子模块(231)与图像包划分子模块(232)连接，图像包划分子模块(232)与多实例划分子模块(233)连接，多实例划分子模块(233)与时空块密集采样子模块(234)连接，时空块密集采样子模块(234)与光流特征计算子模块(235)连接；其中，

目标划分子模块(231)用于根据时间序列对图像帧之间的前景运动图像的运动变化趋势进行分析，确定前景目标物体；

图像包划分子模块(232)用于将同一前景目标物体的视频流划分为一个图像包；

多实例划分子模块(233)用于对每个图像包进行多示例划分，得到M个示例流；

时空块密集采样子模块(234)用于对每个示例流按空间上从上到下、从左到右划分成互不重叠的块，以及按连续的时间序列重复采样，得到N个视频采集块；

光流特征计算子模块(235)用于对各视频采集块进行光流阈值计算，得到每个视频采集块对应的运动特征向量。

5.如权利要求2所述的智能视频监控***，其特征在于，异常检测模型建立模块(24)包括建模子模块(241)和更新子模块(242)；其中，

建模子模块(241)用于通过聚类的非参数模型对监控中心(3)的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；

更新子模块(242)用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型。

6.如权利要求5所述的智能视频监控***，其特征在于，建模子模块(241)通过K均值算法对运动特征向量进行聚类，将其聚类为多个运动事件。

7.如权利要求5所述的智能视频监控***，其特征在于，异常事件判定模块(25)判定存在异常事件时，异常事件判定模块(25)将多个摄像机(1)的视频流的运动特征向量传输至异常检测模型建立模块(24)，更新子模块(242)将多个摄像机(1)的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。

8.如权利要求1所述的智能视频监控***，其特征在于，异常事件判定模块(25)包括时间序列预测子模块(251)，时间序列预测子模块(251)与差异性对比子模块(252)连接，差异性对比子模块(252)与报警信息生成子模块(253)连接；其中，

时间序列预测子模块(251)用于通过时间序列预测模型对多个摄像机(1)的视频流的运动特征向量进行训练，筛选出异常的运动特征向量；

差异性对比子模块(252)用于在异常的运动特征向量与运动事件类别识别模型之间的差异性大于可接受阈值时，判定该运动事件为异常事件；

报警信息生成子模块(253)用于在差异性对比子模块(252)判定存在异常事件时，产生报警信息通过无线网络发送至监控中心(3)。

Images