CN106241534B - 多人乘梯异常活动智能监控方法 - Google Patents

Abstract

本发明提供一种针对多人乘梯异常活动的智能监控方法，以轻量化的数据采集及运算处理，即可快速、有效地判定轿箱内是否发生暴力事件等异常活动，从而及时、准确地发出告警，有效减轻监控人员的负担。具体为：位置固定的摄像头拍摄的图像作为背景模型，通过减背景法用当前视频帧与背景模型做差获得差分图像，根据二值化公式对差分图像进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析；计算二值化后连续视频图像中相邻帧差图像，将帧差图像中所有像素的灰度值进行累加，基于设定的灰度阈值进行判断，从而判定是否发生了异常活动，触发报警。

Description

多人乘梯异常活动智能监控方法

技术领域

本发明涉及一种基于机器视觉的电梯内异常活动智能监控方法。

背景技术

电梯在给人们带来便捷和方便的同时，也对人们的安全发出了挑战。由于电梯是一个相对封闭的公共场所，一方面为犯罪分子进行不法行为提供了极佳的场所，电梯轿厢内打架、抢劫等事件频频发生；另一方面，当一个人单独乘坐电梯时，尤其是老人可能发生突发疾病摔倒在电梯里，如不能及时发现，可能危及生命。为了构建一个安全的生活环境，在很多的高层小区、宾馆、大厦的电梯轿厢内都安装了视频监控装置。然而目前这些安装在电梯轿厢内的视频监控***和城市中很多地方安装的大部分视频监控***一样，只是简单的录像；监控和处理电梯轿厢乘员异常行为，只是依赖人工实时监控视频。

所以，传统的视频监控***有以下缺点：

1.功能单一，只是简单的录像，存储，回放等功能，无法对监控场景进行实时的分析和处理。

2.需要监控室内的监控人员通过长时间观看视频图像来对电梯轿厢内进行监控，但人眼具有易疲劳的缺点，不可能时刻保持警戒。

3.有些大型小区的监控视频有几十甚至上百台摄像机，工作人员根本无法监看和管理。

4.数据分析困难，安保人员查询特定事件事发时的录像资料的过程中，海量的数据给人们增加了困难。

5.大部分事件都是事后响应，一旦遇到突发疾病情况，难以及时响应。

6.目前电梯轿厢内报警方式主要是乘客自己去按警铃，但一般情况下，当乘客遭到不法侵害时，很难有机会去按报警铃。

中国专利文献CN101557506A《基于计算机视觉的电梯轿厢内暴力行为智能检测装置》提出的方案主要是通过Codebook算法来提取前景人体对象，并通过单人前景区域所占像素点进行人数判断，若人数为单人以上时，则触发算法，提取出人群行为的三维特征向量序列，将这些序列通过隐马尔可夫模型检验，从而判断是否发生异常行为。该方案主要存在以下缺点：

1.Codebook建模算法复杂。

2.基于单人前景区域所占像素点来进行人数判断，若乘员携带行李、或存在人员遮挡、人员站立位置发生变化等情况，会导致误判。

3.该方法需要提取出人群行为的三维特征向量序列，基于统计特征来检测异常行为，这就需要建立一个训练学习机制，而该学习机制是基于样本训练库的，样本训练库的建立就要求必须有足够多的训练样本，从而使得现有的基于统计特征的检测方法难以得到实际应用。此外，即使能够做到建立多样本数据库，由于收集较多训练样本的成本和工作量很大，无法在实际电梯***中推广。

中国专利文献CN105347127A《电梯轿厢内异常情况的监控***及监控方法》提出的方案主要是采用一个3D体感摄像装置，该摄像装置具有用于面部表情识别和动作识别的彩色摄像头、深度传感器、红外追踪装置和用于语音识别的多点阵列麦克风。该方案主要存在以下缺点：

1.对硬件设备要求较高，价格昂贵。

2.多数据融合及多数据判断存在一些问题(譬如可能存在面部表情和行为甚至语言不符合的情况)，其次，识别的越多，需要处理的数据量也就越大，很难保证数据处理的实时性。

中国专利文献CN103693532A《一种电梯轿厢内暴力行为检测方法》提出的方案主要是首先使用混合高斯模型提取运动模型，然后采用Harris算子检测运动区域的角点，再用金字塔Lucas-Kanade光流算法计算区域中角点的光流信息，然后统计光流信息的熵，并与设定的阈值进行比较，判断是否发生异常行为。该方案主要存在以下缺点：

1.混合高斯背景模型是指背景图像中的每一个像素点用K(一般取3-5)个高斯模型来表示。混合高斯模型占用CPU资源太多，达不到实时检测的要求(以每秒25帧来说，要求在40ms内处理完图像)。

2.若电梯轿厢内，乘员因为某些原因(比如蹲下系鞋带，或拣东西等)，可能会有短暂的移动，在短时间内计光流信息的熵可能会大于设定的阈值，这时会发生误报行为。

总体来说，目前看似较为先进、智能的监控(理论)方案，算法都比较复杂，硬件要求较高，数据运算量大，都很难保证实时性的要求。

发明内容

为了解决目前基于机器视觉的电梯安全监控处理方法存在的采集信息繁杂、数据处理量大、难以在居民社区推广应用等问题，本发明提供一种针对多人乘梯异常活动的智能监控方法，以轻量化的数据采集及运算处理，即可快速、有效地判定轿箱内是否发生暴力事件等异常活动，从而及时、准确地发出告警，有效减轻监控人员的负担。

本发明的技术方案如下：

多人乘梯异常活动智能监控方法,包括以下步骤：

(1)前景提取

1.1)当检测到轿厢关门信号后，通过减背景法用当前视频帧I_k与背景模型B_k做差获得差分图像D_k；所述背景模型B_k是在轿厢封闭且空置时轿厢内安装位置固定的摄像头拍摄的图像；

1.2)根据二值化公式对差分图像D_k进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的区域就是前景的区域范围；其中：

减背景法计算式为D_k(x,y)＝|I_k(x,y)-B_k(x,y)|

二值化计算式为

式中D_k(x,y)为差分图像，(x,y)为像素点的坐标，I_k(x,y)为当前视频帧，B_k(x,y)为背景图像模型，R_k(x,y)为二值化后的图像；

(2)相邻帧差值及图像总灰度阈值判断的运动幅值检测

2.1)计算二值化后连续视频图像中相邻帧差图像：Δ_k(x,y)＝|R_k(x,y)-R_k-1(x,y)|；

2.2)将帧差图像中所有像素的灰度值进行累加：式中，M为图像的行，N为图像的列；

2.3)基于设定的灰度阈值进行判断，若图像的总灰度值Δ_k大于阈值则开始计时，若在设定的时间内(例如可设为60S，若摄像头为每秒25帧，相当于设定60×25帧)图像的总灰度值Δ_k一直大于阈值，则判定发生了异常活动，触发报警。

基于以上方案，本发明还进一步作了如下优化限定：

轿厢内仅设置一个摄像头。这主要是考虑到本发明确立的背景建模和前景提取方案对一个视角的拍摄视频进行处理已经提取、准备了足够的信息，而无需多处设置摄像头(生成三维立体图像信息)，相应的也大大降低了数据运算量，从而提高了告警的实时性。

步骤(1)采用时间平均法对背景进行建模，即对一段时间内的视频帧求和然后再求平均，计算公式如下：

式中B(x,y)表示背景模型，B_i(x,y)表示第i帧图像。

本发明具有以下技术效果：

1、前述专利文献的方案在背景建模时没有考虑到有关电梯轿厢的实际情况：电梯轿厢(非透明轿厢)关门后是一个封闭空间，且摄像头安装位置固定，环境简单且基本上不会发生变化，而且由固定光源照明，轿厢内光线的强弱变化不大，在背景建模时其实不用考虑光线的变化。如果是透明轿厢，则背景在一直变化，就需要对背景进行实时建模，这是极为困难的。本发明切实、充分考虑了轿厢监控图像的特点，针对非透明的轿厢，进行简单的背景建模，并基于背景模型(在检测到轿厢关门后才)进行优化的前景提取，信息采集量显著降低，为后期的视频分析快速、高效奠定了基础。

2、本发明深入分析了电梯异常运行状态和电梯内异常活动发生时反映的监控图像特点，并综合考虑了漏报率和谎报率，采用相邻帧差值及阈值判断的方式检测二值化差分图像表征的运动幅值，能够快速、有效地判定轿箱内是否发生暴力事件等异常活动，从而及时、准确地发出告警，有效减轻监控人员的负担，并能提高安保人员响应突发情况的快速性和针对事件的准确性。

3、本发明采用图像总灰度阈值判断的运动幅值检测，即对提取前景后的图像总灰度进行计算然后和阈值进行比较，无需大量的训练样本，也无需建库，运算量显著降低，保证了实时性。

4、本发明硬件实现成本较低，能够广泛应用于居民小区、办公楼等场所的(非透明的)轿厢式电梯。

附图说明

图1为本发明所涉及的硬件架构示意图。

图2为本发明的基本流程示意图。

具体实施方式

一、背景建模：

考虑到电梯轿厢是一个封闭空间，且摄像头安装位置固定，环境简单且基本上不会发生变化，而且由固定光源照明，轿厢内光线的强弱变化不大，因此，在人体前景提取时选择减背景算法来提取电梯轿厢内的人体，对于背景差法而言，获得到真实的背景十分关键，因此首先要建立背景模型。考虑到实际背景的不变性和算法的简洁性，选择时间平均法对背景进行建模。

时间平均法是对一段时间内的视频帧求和然后再求平均。

式中B(x,y)表示背景模型，B_i(x,y)表示第i帧图像。

二、前景提取：

建立背景模型后，采集到轿厢关门信号后，通过减背景法用当前视频帧I_k与背景模型B_k做差获得差分图像D_k，再根据二值化公式对差分图像进行二值化处理，由于差分图像可能会含有一些噪声，再通过形态学滤波算法去除一些噪声的影响，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的该区域就是前景的区域范围。

D_k(x,y)＝|I_k(x,y)-B_k(x,y)|(减背景法公式)

(二值化公式)

其中D_k(x,y)为差分图像，(x,y)为像素点的坐标，I_k(x,y)为当前视频帧，B_k(x,y)为背景图像模型，R_k(x,y)为二值化后的图像。

另外，前景提取这一环节，可以由轿厢关门信号采集模块触发运行，从而避免不必要的数据运算量以及对总线的占用。

三、相对运动幅值检测

当电梯正常运行，且电梯内乘员数量大于1人时，则触发该算法，利用多人乘梯正常时，人员应静止或有小幅度移动，若监控画面出现长时间(60S)存在较大运动幅值，则认为可能发生潜在安全事故，触发报警。本发明提出了一种采用相邻帧差值及灰度阈值判断的方法来检测运动幅值的办法，该方法具有实现简单、无需建模、计算量小、速度快、实时性好的特点，算法原理如下：将实时采集到的图像进行前景提取得到二值化前景图像，此时该帧图像只包含前景信息，根据连续视频场景的不变性，若图像中的物体发生运动时，连续视频图像之间具有显著的帧差；反之若没有物体运动时，连续帧的图像间的变化就很小。

Δ_k(x,y)＝|R_k(x,y)-R_k-1(x,y)|，其中，N为设定的连续帧数量；

再对图像总灰度值进行累加：式中，M为图像的行，N为图像的列；

设定阈值，若D_k大于阈值则开始计时，若在一段时间(本实施例设定为60S)内帧差一直大于阈值，则判断为认为可能发生潜在安全事故，触发报警。这样可有效避免因轿厢内乘员短时间内移动造成的误报警。同时在60S就可发现电梯暴力行为，可有效提高乘员的乘梯的安全性。

本发明可以通过采用DSP对视频数据流进行处理并分析判断目标的动作和行为，通过自动地检测目标，识别目标类型以及目标行为等算法，智能的抽取、分析和理解视频源中的关键信息，对电梯内多人暴力事件等异常行为进行识别，在异常行为发生时及时的发出报警信号。通知安保人员，由安保人员决定该如何处理该行为。这样就减少了对乘客的伤害，从而提高乘客乘坐电梯时的安全性，也同时极大地减轻了安保人员的工作强度。

Claims (3)

1.多人乘梯异常活动智能监控方法,其特征在于，包括以下步骤：

(1)前景提取

1.1)当检测到轿厢关门信号后，通过减背景法用当前视频帧I_k与背景模型B_k做差获得差分图像D_k；所述背景模型B_k是在轿厢封闭且空置时轿厢内安装位置固定的摄像头拍摄的图像；

1.2)根据二值化公式对差分图像D_k进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的区域就是前景的区域范围；其中：

减背景法计算式为D_k(x,y)＝|I_k(x,y)-B_k(x,y)|

二值化计算式为

式中D_k(x,y)为差分图像，(x,y)为像素点的坐标，I_k(x,y)为当前视频帧，B_k(x,y)为背景图像模型，R_k(x,y)为二值化后的图像；

(2)相邻帧差值及图像总灰度阈值判断的运动幅值检测

2.1)计算二值化后连续视频图像中相邻帧差图像：Δ_k(x,y)＝|R_k(x,y)-R_k-1(x,y)|；

2.2)将帧差图像中所有像素的灰度值进行累加：式中，M为图像的行，N为图像的列；

2.3)基于设定的灰度阈值进行判断，若图像的总灰度值Δ_k大于阈值则开始计时，若在设定的时间内图像的总灰度值Δ_k一直大于阈值，则判定发生了异常活动，触发报警。

2.根据权利要求1所述的多人乘梯异常活动智能监控方法,其特征在于：轿厢内仅设置一个摄像头。

3.根据权利要求1所述的多人乘梯异常活动智能监控方法,其特征在于：步骤(1)采用时间平均法对背景进行建模，即对一段时间内的视频帧求和然后再求平均，计算公式如下：

式中B(x,y)表示背景模型，B_i(x,y)表示第i帧图像。