CN110002303A - 一种基于时域关系网络实时过滤电梯困人误报的***及方法 - Google Patents

Abstract

本发明公开了一种基于时域关系网络实时过滤电梯困人误报的***及方法，该***包括报警服务单元，视频存储服务单元，基于时域关系网络的困人告警过滤服务单元；报警服务单元采集图像，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元，基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，根据分析结果判断是否为真实困人，如果是真实困人，则将困人告警信息反馈给报警服务单元，报警服务单元将报警信息通知维保部门，同时启动视频存储服务单元进行视频存储。本发明能够实时区分是否为真实困人，实时通知并协助维保单位及时解救被困乘客。

Description

一种基于时域关系网络实时过滤电梯困人误报的***及方法

技术领域

本发明属于扶梯口拥堵检测技术领域，具体涉及一种基于时域关系网络实时过滤电梯困人误报的***及方法。

背景技术

目前电梯，尤其是直梯已经成为众多居民住宅、写字楼、商场的标配设备，它给人民群众的生活带来诸多便利的同时，也会由于维保养护不到位或者人为误操作的等诸多因素，致使直梯困人事件频发。由于对直梯日常保洁、广告及运维人员的日常维护会引发相当的困人报警，因此建立完善的、实时的电梯困人去误报的***尤为重要。目前，电梯维护单位对直梯监控困人报警去误报的方式都是通过建立一套相对完善的困人告警逻辑（结合电梯门开关状态、电梯内有无人员、电梯运动状态等），再针对满足困人告警逻辑的监控视频由运维人员实时监控，手动区分困人告警是真实困人、保洁或是贴广告人员。这种过滤直梯困人告警视频的方式难以做到实时与高效性，同时需要运维人员24小时不间断的观看报警监控，对人力物力都是极大的浪费，而且还可能因为运维人员的失误而造成误判或漏判，从而对乘梯人员造成不同程度的危险。

中国专利CN 201510232355.8提供了一种电梯困人的检测方法及***。该专利根据来自电梯控制器所输出的针对一步电梯的多个检测信号之间的逻辑组合，来检测所述电梯是否处于困人状态，其中，所述检测信号包括：载人信号、门锁信号、故障信号和检修信号；在确定困人状态时，发出相应的警报信号。

该技术方案的缺点：该方案主要针对一步电梯的多个检测信号之间的逻辑组合来检测所述电梯是否处于困人状态，所需的信号较多，当其中有信号发生故障时（例如加速度传感器故障等），将会导致困人漏报，同时由于对多个信号的串联处理，对困人告警处理的实时性也有很大影响；同时为了保证较高的准确性，需要多个昂贵的传感器（包括加速度传感器、PIR红外传感器等）以获取准确的电梯状态信号，因此该检测***的成本也较高。

发明内容

本发明要解决的技术问题是提供一种基于时域关系网络实时过滤电梯困人误报的***及方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于时域关系网络实时过滤电梯困人误报的***，包括报警服务单元，视频存储服务单元，基于时域关系网络的困人告警过滤服务单元；

报警服务单元采集图像数据，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元，基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，根据分析结果判断是否为真实困人，如果不是真实困人，则结束退出，如果是真实困人，则将困人告警信息反馈给报警服务单元，报警服务单元确认报警信息，将报警信息通知维保部门，同时启动视频存储服务单元进行视频存储。

进一步地，报警服务单元包括监控摄像机、工业摄像机中的一种或多种。

进一步地，报警服务单元采用通用处理设备CPU、ARM、DSP、GPU、FPGA、ASIC中的一种或多种。

进一步地，视频存储服务单元包括存储服务器、SSD硬盘。

进一步地，基于时域关系网络的困人告警过滤服务单元包括基于时域关系网络过滤模块。

进一步地，电梯疑似困人告警逻辑具体为：

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件均满足，则计数器加1，若连续60s内计数器大于等于60，则发出疑似困人告警；

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件均满足，则计数器加1，若连续60s内计数器小于60，则消除疑似困人告警；

如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件不能同时满足，则计数器清零，消除疑似困人告警。

进一步地，基于时域关系网络过滤模块工作具体流程如下：

（1）获取疑似困人告警视频帧图，并按帧图时间顺序进行编号，编号结果为001、002、003、...；

（2）按照预先设定的时域关系，间隔提取帧图；

（3）利用二维CNN网络，对步骤（2）得到的间隔帧图进行特征提取，获得特征图；

（4）分别对各个特征进行分析，将分析结果进行融合fusion；

（5）利用SVM模块对各融合结果进行分类，并将结果输出；

（6）求得该视频分别对应 “开门”、“无人”、“真实困人”、“贴广告”、“保洁”的概率，最大概率的类别即为视频最终结果。

进一步地，步骤（3）中的二维CNN网络为InceptionV1、GoogleNet。

本发明还提供了一种基于时域关系网络实时过滤电梯困人误报的方法，该方法采用以上所述的***，并包括以下步骤：

（1）报警服务单元采集图像数据，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元；

（2）基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，并判断是否为真实困人，如果不是真实困人，则结束退出，如果是真实困人，则将困人信息反馈给报警服务单元；

（3）报警服务单元确认报警信息，触发报警，通知维保部门；同时启动视频存储服务单元；

（4）维保部门开启救援，并将困人告警信息传递至多媒体提示单元，视频存储服务单元存储报警视频。

（5）多媒体提示单元播放语音提示信息，并对被困乘客进行安抚和引导。

本发明的有益效果是：

（1）本发明采用基于时域关系网络过滤模块对疑似困人告警视频进行实时检测，解决此类误报问题，实时区分真实困人和非真实困人，对真正被困的乘客进行及时安抚和指引，实时通知并协助维保单位及时解救被困乘客。

（2）本发明采用基于时域关系网络过滤模块对疑似困人告警视频进行实时检测；该模块不仅可以快速分析疑似困人告警视频，同时还可以扩充数据集，弥补电梯疑似困人告警逻辑中对门开关状态检测、有无人检测准确率不足的缺点，真正做到了对告警视频的端到端分析。

（3）本发明基于TB级监控视频数据集，根据对视频中人员行为的准确识别实现端到端的分析，从而判断出告警视频属于开门、有无人、真实困人、保洁行为或者贴广告行为，再将判断结果反馈至报警服务单元、视频存储单元。

（4）本发明采用间隔采样的时域关系策略相比于连续采样时域关系策略而言，更加有利于处理分析长时间行为动作视频，间隔采样可以大大减少计算量，经试验分析，测试集的准确率为98.75%，单个视频的分析时间不到1秒。

附图说明

图1为本发明的***框图。

图2 为电梯疑似困人告警逻辑框图。

图3 为基于时域关系网络过滤模块工作具体流程图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的技术方案，下面将对本发明的技术方案进行清楚、完整的描述。

本发明提供了一种基于时域关系网络实时过滤电梯困人误报的***包括报警服务单元，视频存储服务单元，基于时域关系网络的困人告警过滤服务单元；

报警服务单元采集图像数据，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元，基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，根据分析结果判断是否为真实困人，如果不是真实困人，则结束退出，如果是真实困人，则将困人告警信息反馈给报警服务单元，报警服务单元确认报警信息，触发报警，将报警信息通知维保部门，同时启动视频存储服务单元进行视频存储，维保部门开启救援，并将困人告警信息传递至多媒体提示单元，多媒体提示单元播放语音提示信息，并对被困乘客进行安抚和引导，视频存储服务单元接到视频存储请求，拉取完整真实告警视频，并存储报警视频，结束。

进一步地，报警服务单元包括但不限于监控摄像机、工业摄像机中的一种或多种。

进一步地，摄像机安装在电梯轿厢内顶部，对着电梯门方向进行拍摄，采集图像数据，用于后续分析。

进一步地，报警服务单元还包括但不限于通用处理设备CPU、ARM、DSP、GPU、FPGA、ASIC中的一种或多种，根据对困人条件及满足困人条件持续时间的判断，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元。

进一步地，视频存储服务单元包括但不限于存储服务器、SSD硬盘，负责对过滤后的真实困人视频进行存储，其中存储的视频可以提供给救援平台或物业，方便对电梯困人事故进行追溯与分析。

进一步地，基于时域关系网络的困人告警过滤服务单元主要包括基于时域关系网络过滤模块。

进一步地，基于时域关系网络过滤模块主要运行在GPU服务器上，负责对多路并发的困人告警视频进行实时过滤分析并输出结果，输出结果包括真实困人、保洁、贴广告、无人和门未关闭五种结果。

进一步地，电梯运行时，报警服务单元产生疑似困人告警主要取决于：门开关状态、有无人状态和电梯速度，只有当上述三个条件满足且超过预设时间时，如预设时间为60s，***将会认为此时电梯发生疑似困人告警，并将困人告警视频拉取传递至基于时域关系网络过滤模块。

进一步地，电梯疑似困人告警逻辑框图如图2所示，具体为：

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件均满足，则计数器加1，若连续60s内计数器大于等于60，则发出疑似困人告警；

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件均满足，则计数器加1，若连续60s内计数器小于60，则消除疑似困人告警；

如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件不能同时满足，则计数器清零，消除疑似困人告警。

进一步地，可以通过安置在电梯顶部的速度传感器检测到电梯速度是否为0。

相比于现有技术，本发明只需要通过安置在电梯顶部的速度传感器来检测电梯速度是否为0即可，不需要安装昂贵的PIR红外传感器，不仅精度得到保障，检测速度也得到提升。

进一步地，基于时域关系网络的困人告警过滤服务单元接到疑似困人告警视频分析请求后，将通知服务器后台拉取疑似困人告警视频，并转换为图片格式以备后续分析，服务器为电梯维保公司建立于云计算平台上的服务器，例如阿里巴巴云服务器、华为云服务器等。

进一步地，将拉取的疑似困人告警视频图片送至基于时域关系网络过滤模块，如图3所示，该模块的输出结果包含真实困人、保洁、贴广告、开门和无人五类；该模块不仅可以快速分析疑似困人告警视频，同时还可以扩充数据集，比如电梯开关门二分类数据集、电梯有无人二分类数据集、电梯人数检测数据集等，弥补图2中电梯疑似困人告警逻辑中对门开关状态检测、有无人检测准确率不足的缺点，真正做到了对告警视频的端到端分析，经检测，单个视频的分析时间仅为1秒，满足对困人告警的处理时间要求。

进一步地，基于时域关系网络过滤模块工作具体流程如下：

（1）获取疑似困人告警视频帧图，并按帧图时间顺序进行编号，比如从第1秒到第60秒，采样率为每秒5帧，按时间顺序编号，编号结果为001、002、003、...、300；

（2）按照预先设定的时域关系，间隔提取帧图，预先设定的时域关系为：根据步骤（1）中的帧图编号顺序，按照固定的编号间隔进行分段后随机采样，例如将整段视频（比如整段视频为300帧图）平均分为固定的6段，每段50帧，每次分析时都在每段中随机取一帧（即同时提取6帧进行分析），此种间隔采样的时域关系策略相比于连续采样时域关系策略而言，更加有利于处理分析长时间行为动作视频。

本发明针对60秒的告警视频行为分析，相比于连续采样，间隔采样可以大大减少计算量，经试验分析，与传统的C3D连续采样视频分析结果相比，测试集的准确率可以从93.24%提高到98.75%，单个视频的分析时间从5.2秒提高到不到1秒（针对单卡1080TiGPU），效果明显；

（3）利用二维CNN网络，如InceptionV1、GoogleNet等网络对步骤（2）得到的间隔帧图进行特征提取，获得特征图；

（4）分别对各个特征进行分析，将分析结果进行融合fusion；

（5）利用SVM模块对各融合结果进行分类，并将结果输出，本实施例中结果包含“开门”、“无人”、“真实困人”、“贴广告”、“保洁”五类；

（6）求得该视频分别对应 “开门”、“无人”、“真实困人”、“贴广告”、“保洁”的概率，此处概率的求得选用softmax函数，求得的最大概率的类别即为视频最终结果。

进一步地，报警服务单元还包括多媒体提示单元，维保部门确认真实困人告警后，将困人告警信息传递至多媒体提示单元，多媒体提示单元接收到困人告警信息，通过扬声器播放预先录制好的语音提示信息，同时通过显示屏播放预先录制的提醒视频对被困乘客进行安抚和引导，直至被困乘客就出。

本发明还提供一种基于时域关系网络实时过滤电梯困人误报的方法，该方法采用以上所述的***，并包括以下步骤：

（1）报警服务单元采集图像数据，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元；

（2）基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，并判断是否为真实困人，如果不是真实困人，则结束退出，如果是真实困人，则将困人信息反馈给报警服务单元；

（3）报警服务单元确认报警信息，触发报警，通知维保部门；同时启动视频存储服务单元；

（4）维保部门开启救援，并将困人告警信息传递至多媒体提示单元，视频存储服务单元存储报警视频。

（5）多媒体提示单元播放语音提示信息，并对被困乘客进行安抚和引导。

Claims (10)

1.一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，包括报警服务单元，视频存储服务单元，基于时域关系网络的困人告警过滤服务单元；

报警服务单元采集图像数据，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元，基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，根据分析结果判断是否为真实困人，如果不是真实困人，则结束退出，如果是真实困人，则将困人告警信息反馈给报警服务单元，报警服务单元确认报警信息，将报警信息通知维保部门，同时启动视频存储服务单元进行视频存储。

2.根据权利要求1所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，报警服务单元包括监控摄像机、工业摄像机中的一种或多种。

3.根据权利要求1所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，报警服务单元采用通用处理设备CPU、ARM、DSP、GPU、FPGA、ASIC中的一种或多种。

4.根据权利要求1所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，报警服务单元还包括多媒体提示单元。

5.根据权利要求1所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，视频存储服务单元包括存储服务器、SSD硬盘。

6.根据权利要求1所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，基于时域关系网络的困人告警过滤服务单元包括基于时域关系网络过滤模块。

7.根据权利要求1所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，电梯疑似困人告警逻辑具体为：

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件均满足，则计数器加1，若连续60s内计数器大于等于60，则发出疑似困人告警；

对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件均满足，则计数器加1，若连续60s内计数器小于60，则消除疑似困人告警；

如果检测到门关状态，电梯有人，并且电梯速度为0，三个条件不能同时满足，则计数器清零，消除疑似困人告警。

8.根据权利要求6所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，基于时域关系网络过滤模块工作具体流程如下：

（1）获取疑似困人告警视频帧图，并按帧图时间顺序进行编号，编号结果为001、002、003、...；

（2）按照预先设定的时域关系，间隔提取帧图；

（3）利用二维CNN网络，对步骤（2）得到的间隔帧图进行特征提取，获得特征图；

（4）分别对各个特征进行分析，将分析结果进行融合fusion；

（5）利用SVM模块对各融合结果进行分类，并将结果输出；

（6）求得该视频分别对应 “开门”、“无人”、“真实困人”、“贴广告”、“保洁”的概率，最大概率的类别即为视频最终结果。

9.根据权利要求8所述的一种基于时域关系网络实时过滤电梯困人误报的***，其特征在于，步骤（3）中的二维CNN网络为InceptionV1、GoogleNet。

10.一种基于时域关系网络实时过滤电梯困人误报的方法，其特征在于，该方法采用权利要求1-9任一项所述的***，并包括以下步骤：

（1）报警服务单元采集图像数据，并对图像数据进行处理与分析，判断是否为疑似困人告警，如果是，则发送告警信息与告警视频至基于时域关系网络的困人告警过滤服务单元；

（2）基于时域关系网络的困人告警过滤服务单元对告警视频进行实时过滤分析，并判断是否为真实困人，如果不是真实困人，则结束退出，如果是真实困人，则将困人信息反馈给报警服务单元；

（3）报警服务单元确认报警信息，触发报警，通知维保部门；同时启动视频存储服务单元；

（4）维保部门开启救援，并将困人告警信息传递至多媒体提示单元，视频存储服务单元存储报警视频;

（5）多媒体提示单元播放语音提示信息，并对被困乘客进行安抚和引导。