CN107679471A - 基于视频监控平台的室内人员空岗检测方法 - Google Patents

Abstract

本发明涉及一种基于视频监控平台的室内空岗检测方法，包括：对预处理后的视频帧，使用帧间差分法处理得到每两帧的差分图像；定义一个状态机，实现四种状态的动态转换，具体包括四种状态：无人在岗、疑似在岗、疑似空岗、有人在岗；根据差分图像均值判断值班人员的状态，如果该差分图像均值不大于200，则进入状态机；反之，若该差分图像均值大于200则保持原状态不变，不进入状态机，以适当消除因监控视频中摄像亮度突变带来的干扰；变量，通过状态机变换得到的人员值班状态信息对应改变状态变量和空岗计时器。

Description

基于视频监控平台的室内人员空岗检测方法

技术领域

本发明属于智能视频监控领域，具体来说属于一种基于现有视频监控平台的室内人员空岗检测***及方法。

背景技术

在当今高速发展的社会，各行各业中不稳定因素日益增多，安全问题受到人们越来越多的关注，尤其是安防领域。为了确保国家重要***门、重要单位设施的安全，维护社会的长治久安，岗位执勤就成为了一项必然选择。如果值班人员在值班期间擅自离岗，很有可能造成不可估量的损失。为了防止出现这种状况，很多企业以及部门采取监督的方式进行空岗检测，以便及时采取应对措施，消除安全隐患。

随着视频监控技术的不断发展，采用视频监控的手段来监控值岗信息逐渐代替了人工查岗的方式。传统的视频监控***是需要专人对值班室监控视频实时查看，监控时间长，精神需要高度集中，形成了较高的人力成本。而且，人注视监控显示器达到一定时间时就会出现注意力不集中的情况，容易漏掉关键的视频片段，无法达到监督目的。智能视频监控技术应运而生。相对于传统的监控手段，智能视频监控则可靠性更高、反应更快、成本更低，通过摄像机采集视频图像，智能分析视频帧图像的信息特征，根据预定准则做出判断并反应，对于空岗检测而言，则是根据预定准则判定是否发生了空岗行为并进行报警及采取相应措施。

基于监控平台的空岗检测，主要包括摄像头视频采集，***后台智能分析和显示器端实时显示，其中，智能分析部分涉及目标检测、跟踪和分析识别等。目前，视频图像中的目标检测方法主要有：帧间差分法、背景差分法和光流法。帧间差分方法最简单、最直接，大多用于背景简单，环境干扰小的情况；背景差分法对场景的动态变化比较敏感；光流法可以在摄像机运动时检测目标，但不太适合实时处理。总的来说，基于视频监控平台的空岗检测，是通过实时的智能分析监控摄像头获取的视频序列，获取值班人员的状态信息，当出现空岗状况时立即做出反应，消除安全隐患。

现有解决空岗检测问题的方法，一般是基于视频监控平台的空岗检测方法。比如，专利CN104021653A中，通过视频动态分析摄像机、视频分析报警器和中心视频监测服务器运行预警、报警、短信报警，实现道口值班状态视频分析报警的功能，其主要根据视频帧图像是否发生动态变化来判断是否有人值班；专利CN102740059A中采用图像分析与跟踪算法监督值班人员，采用识别算法识别图像中是否有人，累积无人时间达到预设时间参数时将无人值班的监督信号发送到控制中心，其中没有明确提及人体检测算法的具体过程，且只有无人和有人两种状态。总的来说，如果能够设计一种准确性较高的人体检测算法以及一套较为完善的状态变换流程则能更好的实现基于监控平台的室内空岗检测功能。

发明内容

本发明的目的在于提供一种基于现有的视频监控平台，能够对室内空岗行为实时监控并及时处理的方法，技术方案如下：

一种基于视频监控平台的室内空岗检测方法，包括下列的步骤：

1)设置空岗检测参数，包含尺度变换参数和空岗时间阈值两个参数；

2)输入视频，逐帧读取该视频，将所有视频帧乘上尺度变换参数缩放成统一大小，对视频帧进行预处理，以便后续步骤进一步处理；

3)对预处理后的视频帧，使用帧间差分法处理得到每两帧的差分图像，并进行阈值二值化处理、形态学处理，计算差分图像的像素亮度均值和标准差，然后循环执行此过程，实时检测动态前景；

4)定义一个状态机，实现四种状态的动态转换，具体包括四种状态：无人在岗、疑似在岗、疑似空岗、有人在岗；

5)根据上述计算得到的差分图像均值判断值班人员的状态，如果该差分图像均值不大于200，则进入状态机；反之，若该差分图像均值大于200则保持原状态不变，不进入状态机，以适当消除因监控视频中摄像亮度突变带来的干扰；

6)实现状态机参数初始化，定义一个初始化为0的空岗计时器和一个状态变量，通过状态机变换得到的人员值班状态信息对应改变状态变量和空岗计时器；

7)运行状态机，每10帧判断一次状态变化，以实现四种状态的动态转换；处于其中任意一种状态时，首先要载入预训练的人体检测分类器运行人体检测过程，然后对应得到每10帧视频图像中的人员值班信息统计，根据对应的判定准则判定人员的当前状态以及分析状态变换趋势；其中，

采用人体上半身样本作为训练样本来训练人体检测分类器，人体检测过程如下：使用预训练好的人体检测分类器对当前经预处理的视频帧进行检测，多尺度扫描该视频帧图像，得到检测为人体的目标，将其用矩形框标识后存储在矩形框队列中，然后在原视频图像上绘制该人体边界矩形框。

四种状态的变换过程如下：

“无人在岗”状态时，空岗计时器开始计时，每次累加1，运行人体检测过程，如果有视频帧检测到人，则进入“疑似在岗”的状态，否则状态不变；

“疑似在岗”状态时，运行人体检测过程，如果每10帧中有至少6帧为差分图像均值大于2，则认为处于运动状态，反之则是静态；若处于运动状态，则判定为动态帧，继续统计检测到人的视频帧帧数，如果10帧中至少有6帧检测到人，则认为状态为“有人在岗”；反之，认为“无人在岗”，将空岗计时器加上10；若处于静态，即判定为静态帧，此时计算10帧中每两帧里检测到人的矩形框两两之间的重叠面积，如果重叠面积与单个矩形框面积的比例不小于0.2则认为是同一个基本处于静态坐姿的人，若10帧中至少有6帧为这样一个处于静态坐姿的人，则认为“有人在岗”，否则为“无人在岗”；

“有人在岗”状态时，空岗计时器重新开始从0计数，运行人体检测过程，如果检测不到人，进入“疑似空岗”的状态，否则状态不变；

“疑似空岗”状态时，空岗计时器初值仍为0，运行人体检测过程，每10帧判断一次，如果每10帧中至少有8帧为差分图像均值不大于2的情况，即为静态帧，并且，至少有6帧未检测到人体，则认为状态为“无人在岗”，空岗计时器加10，反之，认为“有人在岗”；

以此类推，每10帧运行一次上述状态机过程，完成一次判断；

8)状态机变换过程运行完毕，查看空岗计时器，若空岗计时器累计时间超过预设空岗时间阈值，比如5min内无人在岗，则判定发生了空岗行为，进行实时报警并显示报警状态信息，将空岗计时器重置为0，重新开始计时；反之，判定为未发生空岗行为；

9)每次检测人员值班状态的最后，都将存储单帧图像中人体边界矩形框的队列清空，以供下一轮的空岗检测。

本发明不依赖于视频帧图像的色彩信息，夜间的监控视频也可以处理，通过建立一个完整的基于视频监控平台的室内人员空岗检测***，采用较为准确的人体检测算法和比较完善的状态机变换过程，实时的分析监控视频序列，获取值班人员的状态信息，当出现空岗状况时立即做出反应并采取相应措施，消除了安全隐患。采用这种方法，不仅提高了相关部门的监管水平还可以辅助相关人员更好的完成工作任务，降低了人力成本，保障了生产生活安全，对于智能安防领域而言意义重大。

附图说明

图1为本发明方法所搭载的视频监控***框图

图2为本发明方法所设计的人体检测***框图

图3为本发明方法所设计的状态机变换框图

图4为本发明方法的流程图

具体实施方式

现有安防领域中视频监控***的一般处理架构为：由模拟摄像机拍摄的画面经过线缆一部分直接传给监视器显示，另一部分传给硬盘录像机。进入硬盘录像机的模拟信号转变为数字码流，一方面进行编码,以文件形式存储在硬盘录像机内；另一方面,可通过网络随时连接硬盘录像机,提取码流进行显示、分析。如图1所示。

基于本发明提出的方法所形成的基于视频监控平台的室内空岗检测***软件,可以通过网络连接硬盘录像，采集视频数据并进行实时分析，或者通过提取存储在硬盘录像机中经过转码后的视频文件。步骤如下：首先设置空岗参数，包括尺度变换参数和空岗时间阈值参数；逐帧读取视频并对视频进行预处理；通过帧间差分法处理视频以获取差分图像；定义状态机，状态机中包含四种状态：“无人在岗”、“疑似在岗”、“疑似空岗”、“有人在岗”；通过分析差分图像的均值大小，进入不同的状态；在每种状态下，先将预处理过的视频帧运行人体检测过程，使用预训练的人体检测分类器检测该视频帧中是否存在人体对象；经过状态机变换实现四种状态的相互转化，可以较为准确的判断“无人在岗”、“疑似在岗”、“疑似空岗”、“有人在岗”这几种状态，对应统计空岗计时器的值；如果空岗时间计时器计时超过预设空岗时间阈值则进行报警，将其置零后再重新开始计时；以此类推，每10帧判断一次；最终将处理后的结果视频保存下来。

通过实时的监控视频图像，采用准确性较高的人体检测算法和较为完善的状态变换判别机制，实时的检测与分析人员的值班状态，实现对室内空岗行为的有效监管，消除了安全隐患。本发明具体如图4所示。

下面对各个部分进行详细说明：

1.空岗参数设置

设置尺度变换参数，比如0.75，以供后期处理；另外一个参数是空岗时间阈值，比如5min，以供后期空岗检测报警判断。

2.视频帧预处理

逐帧读取输入的视频，对每个视频帧乘上尺度变换参数，比如0.75，缩小成原来尺寸的0.75倍，可以提高计算效率，并对经缩放后的视频帧进行预处理：由于有些监控视频是夜间视频，所以将视频帧由RGB信号转换成灰度图格式，这样便可以不依赖于色彩信息。

3.动态前景提取

对预处理后的视频帧，使用帧间差分法处理得到每两帧的差分图像，并进行阈值二值化处理、形态学处理，计算差分图像的像素亮度均值和标准差，然后循环执行此过程，实时检测动态前景。

4.定义状态机

定义一个状态机，实现四种状态的动态转换，具体包括四种状态：无人在岗、疑似在岗、疑似空岗、有人在岗。

5.进入状态机

根据上述计算得到的差分图像均值判断值班人员的状态，如果该差分图像均值不大于200，则进入状态机；反之，若该差分图像均值大于200则保持原状态不变，不进入状态机，这样可以消除因监控视频中摄像亮度突变带来的干扰。

6.状态机参数初始化

定义一个初值为0的空岗计时器和一个状态变量，通过状态机变换得到的人员值班状态信息对应调整该状态变量和空岗计时器的值。

7.状态机转换

运行状态机，检测人员值班状态，每10帧判断一次状态变化，实现四种状态的动态转换；处于其中任意一种状态时，首先要载入预训练的人体检测分类器运行人体检测过程，然后对应得到每10帧视频图像中的人员值班信息统计，根据对应的判定准则判定人员的当前状态以及分析状态变换趋势；下面具体说明：

其中，人体检测过程如图2所示，包括以下步骤：

考虑到人员值班室检测的具体环境，大部分为坐姿的人，有时存在人员走动的情况，不过基本上可以保证人体上半身的完整性，而且人体上半身包含了头肩部分以及对应的人体识别率较高的结构特征，基于这样的考虑，本文中采用人体上半身样本作为训练样本来训练人体检测分类器。主要的人体检测步骤如下：使用预训练的人体检测分类器对当前经预处理的视频帧进行检测，多尺度扫描该视频帧图像，直至遍历整张视频帧图像，得到检测为人体的目标，将其用矩形框标识后存储在矩形框队列中，然后在原视频图像上绘制经过放大的边界矩形框(矩形框参数对应除以预定义的尺度变换参数进行放缩，从而适应原图大小)；

另外，状态机流程框图如图3所示，四种状态的变换过程大致如下：

“无人在岗”状态时，空岗计时器开始计时，每次累加1，运行人体检测过程，如果有视频帧检测到人，则进入“疑似在岗”的状态，否则状态不变；

“疑似在岗”状态时，运行人体检测过程，如果每10帧中有至少6帧为差分图像均值大于2，则认为处于运动状态，反之为静态；若处于运动状态，则判定为动态帧，继续统计检测到人的视频帧帧数，如果10帧中至少有6帧检测到人，则认为状态为“有人在岗”；反之，认为“无人在岗”，空岗计时器加10；若处于静态，即判定为静态帧，此时计算10帧中每两帧里检测到人的矩形框两两之间的重叠面积，如果重叠面积与单个矩形框面积的比例不小于0.2则认为是同一个基本处于静态坐姿的人，若10帧中至少有6帧为这样一个处于静态坐姿的人，则认为“有人在岗”，否则为“无人在岗”；

“有人在岗”状态时，空岗计时器重新从0计数，运行人体检测过程，如果突然检测不到人了，进入“疑似空岗”的状态，否则状态不变；

“疑似空岗”状态时，空岗计时器初值仍为0，运行人体检测过程，每10帧判断一次，如果每10帧中至少有8帧为差分图像均值不大于2的情况，即为静态帧，并且，至少有6帧未检测到人体，则认为状态为“无人在岗”，空岗计时器加10，反之，认为“有人在岗”；

以此类推，每10帧运行一次上述状态机过程，完成一次判断；

8.空岗行为判定

状态机整个变换过程运行完毕，查看空岗计时器，如果空岗计时器累计时间超过预设空岗时间阈值，比如5min内无人在岗，则判定发生了空岗行为，实时进行报警并显示报警状态信息，将空岗计时器重置为0，重新开始计时；反之，判定为未发生空岗行为。

9.循环进行空岗检测

每次检测人员值班状态的最后，都将存储单帧图像中人体边界矩形框的队列清空，以供下一轮的空岗检测。

10.保存结果视频

整个***工程运行完毕后，全部的视频处理过程会以新视频的形式存储下来，以供工作人员日后查看。

Claims (1)

1.一种基于视频监控平台的室内空岗检测方法，包括下列的步骤：

1)设置空岗检测参数，包含尺度变换参数和空岗时间阈值两个参数；

2)输入视频，逐帧读取该视频，将所有视频帧乘上尺度变换参数缩放成统一大小，对视频帧进行预处理，以便后续步骤进一步处理；

3)对预处理后的视频帧，使用帧间差分法处理得到每两帧的差分图像，并进行阈值二值化处理、形态学处理，计算差分图像的像素亮度均值和标准差，然后循环执行此过程，实时检测动态前景；

4)定义一个状态机，实现四种状态的动态转换，具体包括四种状态：无人在岗、疑似在岗、疑似空岗、有人在岗；

5)根据上述计算得到的差分图像均值判断值班人员的状态，如果该差分图像均值不大于200，则进入状态机；反之，若该差分图像均值大于200则保持原状态不变，不进入状态机，以适当消除因监控视频中摄像亮度突变带来的干扰；

6)实现状态机参数初始化，定义一个初始化为0的空岗计时器和一个状态变量，通过状态机变换得到的人员值班状态信息对应改变状态变量和空岗计时器；

7)运行状态机，每10帧判断一次状态变化，以实现四种状态的动态转换；处于其中任意一种状态时，首先要载入预训练的人体检测分类器运行人体检测过程，然后对应得到每10帧视频图像中的人员值班信息统计，根据对应的判定准则判定人员的当前状态以及分析状态变换趋势；其中，

采用人体上半身样本作为训练样本来训练人体检测分类器，人体检测过程如下：使用预训练好的人体检测分类器对当前经预处理的视频帧进行检测，多尺度扫描该视频帧图像，得到检测为人体的目标，将其用矩形框标识后存储在矩形框队列中，然后在原视频图像上绘制该人体边界矩形框。

四种状态的变换过程如下：

“无人在岗”状态时，空岗计时器开始计时，每次累加1，运行人体检测过程，如果有视频帧检测到人，则进入“疑似在岗”的状态，否则状态不变；

“疑似在岗”状态时，运行人体检测过程，如果每10帧中有至少6帧为差分图像均值大于2，则认为处于运动状态，反之则是静态；若处于运动状态，则判定为动态帧，继续统计检测到人的视频帧帧数，如果10帧中至少有6帧检测到人，则认为状态为“有人在岗”；反之，认为“无人在岗”，将空岗计时器加上10；若处于静态，即判定为静态帧，此时计算10帧中每两帧里检测到人的矩形框两两之间的重叠面积，如果重叠面积与单个矩形框面积的比例不小于0.2则认为是同一个基本处于静态坐姿的人，若10帧中至少有6帧为这样一个处于静态坐姿的人，则认为“有人在岗”，否则为“无人在岗”；

“有人在岗”状态时，空岗计时器重新开始从0计数，运行人体检测过程，如果检测不到人，进入“疑似空岗”的状态，否则状态不变；

“疑似空岗”状态时，空岗计时器初值仍为0，运行人体检测过程，每10帧判断一次，如果每10帧中至少有8帧为差分图像均值不大于2的情况，即为静态帧，并且，至少有6帧未检测到人体，则认为状态为“无人在岗”，空岗计时器加10，反之，认为“有人在岗”；

以此类推，每10帧运行一次上述状态机过程，完成一次判断；

8)状态机变换过程运行完毕，查看空岗计时器，若空岗计时器累计时间超过预设空岗时间阈值，比如5min内无人在岗，则判定发生了空岗行为，进行实时报警并显示报警状态信息，将空岗计时器重置为0，重新开始计时；反之，判定为未发生空岗行为；

9)每次检测人员值班状态的最后，都将存储单帧图像中人体边界矩形框的队列清空，以供下一轮的空岗检测。