CN113380000B - 一种基于视频的火灾报警控制器警情处理操作监控方法 - Google Patents

Abstract

本发明涉及一种基于视频的火灾报警控制器警情处理操作监控方法，包括以下步骤：步骤一、按照报警发生类型建立操作规则；步骤二、通过摄像头获取感兴趣区域的视频；步骤三、通过深度学习算法，提取视频中的屏幕和指示灯的显示信息，并判断火灾报警控制器是否为报警状态，如果是，则执行下一步骤，如果不是，则继续监控；步骤四、对提取的显示信息进行分析，识别报警类型和报警详情，并调取对应的操作规则；步骤五、识别值班人员的操作信息，并确认操作是否有效；步骤六、将操作信息与调取的操作规则进行匹配，判断是否合规；步骤七、将报警类型、报警详情、值班人员的操作信息、是否合规信息、火灾报警控制器的报警信息上报至服务器中。

Description

一种基于视频的火灾报警控制器警情处理操作监控方法

技术领域

本发明涉及视频监控技术，尤其是基于视频的火灾报警控制器警情处理操作监控方法。

背景技术

火灾报警控制器(如图1所示)是一种专业的消防设备，可以连接多种传感器和灭火设备，用于在发生火情时，及时有效的收集到火灾信息，并帮助值班人员能够迅速控制灭火设备启动进行灭火，或者远程消除误报信息。由于火灾报警控制器的作用十分重要，一般都需要专业人员操作，并经过专业的培训才能上岗。如果火灾发生时，操作失误，会造成严重的损失。

目前的火灾报警控制器一般只能记录和分析相关设备上报的信息，对于值班人员的操作缺乏记录和分析，没有办法判断值班人员操作是否符合规程，针对此，一些传统方法会在值班室内安装摄像头进行监控，然后通过回放监控视频对事件进行还原，这种方法完全依赖人工判断，不仅耗时耗力，而且难以在火灾发生的第一时间就发现值班人员的操作错误，从而造成不可挽回的损失。

鉴于此提出本发明。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视频的火灾报警控制器警情处理操作监控方法，可以实现对值班人员操作是否合规的自动检测，从而降低后续事件复原的压力，并且在操作不合规时，能够及时向相关人员发送提醒。

为了实现该目的，本发明采用如下技术方案：

一种基于视频的火灾报警控制器警情处理操作监控方法，包括以下步骤：

步骤一、按照报警发生类型，建立相应的操作规则，并保存规则库中；

步骤二、通过摄像头对感兴趣区域进行监控，并实时获取感兴趣区域的视频，所述感兴趣区域至少覆盖火灾报警控制器的屏幕、指示灯区域以及火灾报警控制器的操作区域；

步骤三、根据获取的视频，通过深度学习算法，提取火灾报警控制器的屏幕和指示灯的显示信息，并根据提取的显示信息判断火灾报警控制器是否为报警状态，如果为报警状态，则执行下一步骤，如果不是，则继续监控；

步骤四、对提取屏幕和指示灯的显示信息进行分析，识别具体的报警类型和报警详情，并调取规则库中对应的操作规则；

步骤五、获取警情发生后的预设时间段内的视频，通过目标检测算法识别值班人员的操作信息，并结合屏幕和指示灯的变化状态确认值班人员的操作是否有效；

步骤六、将值班人员有效的操作信息与调取的操作规则进行匹配，如果相符则判断操作合规，如果不相符则判断为不合规；

步骤七、将报警类型、报警详情、值班人员的操作信息、是否合规信息上报至服务器中，且在上报信息中存在不合规信息时，及时推送提醒信息给监督人员或后台管理人员。

进一步，所述步骤六还包括，在判断结果为不合规时，启动声光报警装置或其他提示装置向值班人员发出提醒。

进一步，所述步骤一中，

所述报警类型至少分为：首警信息报警，火警信息报警、故障信息报警、启动信息报警、反馈信息报警、屏蔽信息报警和消警信息报警；

所述操作规则至少包括以下信息：报警类型、与报警类型对应的允许点击的按键列表，触发按键后的屏幕显示状态和指示灯显示状态，是否允许切换火灾报警控制器的运行状态，报警限时处理时间。

进一步，所述步骤三中，提取火灾报警控制器的屏幕显示信息，判断报警状态的方法为：

步骤a1、对屏幕图像进行OCR处理，获取屏幕上显示的文字/符号及对应的位置信息；

步骤a2、利用屏幕特定位置具有某些特定文字/符合，或仅以某些特定文字/符合为特征，判断火灾报警控制器是否为报警状态；

所述步骤三中，提取指示灯的显示信息，判断报警状态的方法为：

步骤b1、通过efficient-det算法获取指示灯的状态和位置信息，所述指示灯的状态包括指示灯亮、灭和闪烁三种状态；

步骤b2、根据指示灯的位置信息，获取指示灯的唯一标识码；

步骤b3、结合指示灯的唯一标识码和指示灯的状态，与正常状态进行对比，判断出火灾报警控制器是否为报警状态。

进一步，所述步骤三中，提取火灾报警控制器的屏幕显示信息，判断报警状态的方法为：

步骤a1、对屏幕图像进行OCR处理，获取屏幕上显示的文字/符号及对应的位置信息；

步骤a2、利用屏幕特定位置具有某些特定文字/符合，或仅以某些特定文字/符合为特征，判断火灾报警控制器是否为报警状态；

所述步骤三中，提取指示灯的显示信息，判断报警状态的方法为：

步骤b1、通过efficient-det算法获取指示灯的状态和位置信息，所述指示灯的状态包括指示灯亮、灭和闪烁三种状态；

步骤b2、对指示灯区域进行OCR算法处理，得到相应指示灯的文字信息，并根据文字信息获取指示灯的唯一标识码；

步骤b3、结合指示灯的唯一标识码和指示灯的状态，与正常状态进行对比，判断出火灾报警控制器是否为报警状态。

进一步，所述步骤四中，对火灾报警控制器屏幕的显示信息进行分析的方法为：

根据步骤a1中提取的文字/符号，利用正则表达式判断目标行的类型，并根据目标行的类型进行信息提取，得到报警类型和报警详情；所述报警详情至少包括：报警序号、报警时间、报警设备ID和报警设备安装地点；

所述步骤四中，对指示灯的显示信息进行分析的方法为：

根据指示灯的状态和唯一标识码，与预存的报警类型进行匹配，得到匹配的报警类型。

进一步，所述步骤五中，值班人员的操作信息包括，值班人员操作按键的信息和改变火灾报警控制器运行状态信息。

进一步，所述步骤五包括以下步骤：

步骤d1、获取警情发生后的预设时间段内的视频；

步骤d2、使用efficient-det算法检测视频中火灾报警控制器的运行模式，并记录，所述运行模式包括自动模式和手动模式；

步骤d3、检测火灾报警控制器的屏幕或指示灯显示状态是否变化，若没有，则记录为未操作，若有变化，则执行下一步；

步骤d4、在火灾报警控制器的屏幕或指示灯变化时，使用efficient-det算法检测当前图像中是否出现手指，若未检测到手指，则记录为未操作；若检测到手指，则执行下一步；

步骤d5、计算手指覆盖的按键，如果手指只覆盖一个按键，则判断该按键为被触发的按键，如果手指覆盖多个按键，则结合屏幕或指示灯显示信息排出干扰按键，获得被触发的按键。

进一步，所述步骤六包括以下步骤：

步骤f1、判断值班人员触发的按键是否在允许的按键列表内，如果是则执行下一步，如果不是，则判断为不合规；

步骤f2、判断值班人员触发按键的时间是否在规定的时间范围内，如果是则判断合规，如果不是，则判断为不合规。

采用本发明所述的技术方案后，带来以下有益效果：

本发明实施后可以同时记录设备警情和值班人员对设备的操作，结合操作规则，自动判断出值班人员操作是否违规，并且方便日后对事件进行还原和追责，并且本发明可以在警情发生后，及时判断出值班人员对火灾报警控制器的操作是否合规，并在不合规时，提醒其他人员，从而可以尽快采取措施，防止因操作失误而导致的危害进一步扩大，而且本发明可以适用监控各种类型的火灾报警控制器，应用范围广，能够有效降低重大火灾事故的发生。

附图说明

图1：某型号的火灾报警控制器的操作界面图；

图2：本发明的流程图；

图3：本发明识别值班人员的操作信息的示意图；

其中：1、火灾报警控制器 2、屏幕 3、指示灯区域 4、操作区域 5、手指 6、最小矩形框。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的描述。

实施例一

结合图2和图3所示，一种基于视频的火灾报警控制器警情处理操作监控方法，包括以下步骤：

步骤一、按照报警发生类型，建立相应的操作规则，并保存规则库中。

具体地，所述报警类型为多种，一般可包括：首警信息报警，火警信息报警、故障信息报警、启动信息报警、反馈信息报警、屏蔽信息报警和消警信息报警，针对不同的火灾报警控制器1，相应的报警类型也会不同，本发明针对不同火灾报警控制器1可以调整具体的报警类型。所述操作规则至少包括以下信息：报警类型、与报警类型对应的允许点击的按键列表，触发按键后的屏幕显示状态和指示灯显示状态，是否允许切换火灾报警控制器1的运行状态，报警限时处理时间。每种报警类型至少对应一套操作规则，在报警发生时，值班人员的操作只有符合操作规则时才算合规，否则属于不合规操作。

步骤二、通过摄像头对感兴趣区域进行监控，并实时获取感兴趣区域的视频。所述感兴趣区域至少覆盖火灾报警控制器1的屏幕2、指示灯区域3以及火灾报警控制器1的操作区域4。具体地，所述摄像头安装在正对火灾报警控制器1的位置，摄像头采用高清摄像头，并至少保证能够拍摄清楚火灾报警控制器1上的文字和图形等信息。

步骤三、根据获取的视频，通过深度学习算法，提取火灾报警控制器1的屏幕2和指示灯的显示信息，并根据提取的显示信息判断火灾报警控制器1是否为报警状态，如果为报警状态，则执行下一步骤，如果不是，则继续监控。

具体地，提取火灾报警控制器1的屏幕2显示信息，判断报警状态的方法为：

步骤a1、对屏幕2图像进行OCR(Optical Character Recognition，光学字符识别)处理，获取屏幕2上显示的文字/符号及对应的位置信息，由于火灾报警控制器1的屏幕2显示信息比较简单，因此，通过OCR识别可以快速提取出文字/符号信息。

步骤a2、利用屏幕2特定位置具有某些特定文字/符合，或仅以某些特定文字/符合为特征，判断火灾报警控制器1是否为报警状态，如当发生火警时，火灾报警控制器1的屏幕2特定位置会出现火警符号，当利用OCR识别到屏幕2出现火警符号时，即可判断火警报警控制器为报警状态，或者通过与正常状态下提取到的文字/符号比对，即可判断火警报警控制器为报警状态。

具体地，提取指示灯的显示信息，判断报警状态的方法为：

步骤b1、通过efficient-det算法获取指示灯的状态和位置信息，所述指示灯的状态包括指示灯亮、灭和闪烁三种状态。所述efficient-det算法由谷歌大脑团队开发，详细内容可以参考论文EfficientDet:Scalable and Efficient Object Detection。本发明通过调用efficient-det算法，并通过对模型进行训练，即可实现较高精度的指示灯识别。

其中，判断指示灯闪烁的方法为：在预设时间范围内(可以设置为3秒)，判断指示灯的状态是否切换超过两次，如果超过两次，那么返回闪烁，否则返回当前指示灯状态。

步骤b2、根据指示灯的位置信息，获取指示灯的唯一标识码；由于每个指示灯的位置是确定的，因此根据指示灯的位置，通过坐标对比可以直接获取到每个指示灯的唯一标识码。

步骤b3、结合指示灯的唯一标识码和指示灯的状态，与正常状态进行对比，判断出火灾报警控制器1是否为报警状态。

上述利用屏幕2或指示灯的显示信息判断报警状态的过程中，只要检测到屏幕2或指示灯两者***示信息为报警状态，即可判断此时的火灾报警控制器1为报警状态。

步骤四、对提取屏幕2和指示灯的显示信息进行分析，识别具体的报警类型和报警详情，并调取规则库中对应的操作规则。

具体地，对火灾报警控制器1屏幕2的显示信息进行分析的方法为：

根据步骤a1中提取的文字/符号，利用正则表达式判断目标行的类型，并根据目标行的类型进行信息提取，得到报警类型和报警详情，由于火灾报警控制器1的屏幕2会显示多行字符信息，并且报警类型和报警详情会直接以文字形式进行显示，因此，本发明通过正则表达式对屏幕2上显示的每行信息进行匹配，如果可以匹配，则提取该行内容，得到报警类型和报警详情，如果不匹配则继续对下一行信息进行匹配，所述报警详情至少包括：报警序号、报警时间、报警设备ID和报警设备安装地点。

具体地，对指示灯的显示信息进行分析的方法为：

根据指示灯的状态和唯一标识码，与预存的报警类型进行匹配，得到匹配的报警类型，由于指示灯的显示状态可以和报警类型相关联，因此，当获取到指示灯的状态和唯一标识码后，即可判断出具体的报警类型。

步骤五、获取警情发生后的预设时间段内的视频，通过目标检测算法识别值班人员的操作信息，并结合屏幕2和指示灯的变化状态确认值班人员的操作是否有效。所述值班人员的操作信息包括，值班人员操作按键的信息和改变火灾报警控制器1运行状态信息。

具体地，步骤五包括以下详细步骤：

步骤d1、获取警情发生后的预设时间段内的视频，所述预设时间可以为10分钟或15分钟或根据需要灵活设置。

步骤d2、使用efficient-det算法检测视频中火灾报警控制器1的运行模式，并记录，所述运行模式包括自动模式和手动模式。一般在正常情况下，火灾报警控制器1运行在手动模式下，火灾报警器发生报警，人工排除传感器误报后，才将火灾报警控制器1从手动模式切换到自动模式，或者手动开启灭火设备。

步骤d3、检测屏幕2或指示灯显示状态是否变化，若没有，则记录为未操作，若有变化，则执行下一步，其中，屏幕2变化通过OCR算法检测，指示灯变化通过efficient-det算法检测。

步骤d4、在火灾报警控制器1的屏幕2或指示灯变化时，使用efficient-det算法检测当前图像中是否出现手指5，若未检测到手指5，则记录为未操作；若检测到手指5，则执行下一步。

步骤d5、计算手指5覆盖的按键，如果手指5只覆盖一个按键，则判断该按键为被触发的按键，如果手指5覆盖多个按键，则结合屏幕2或指示灯显示信息排出干扰按键，获得被触发的按键。

具体地，计算手指5覆盖按键的方法为，先通过efficient-det算法检测手指5的边缘，然后用最小矩形框6框选手指5的第一关节，同时计算出最小矩形框6的坐标和面积信息，然后根据最小矩形框6的坐标、面积以及按键的位置信息，计算得到落在最小矩形框6范围内的全部按键，最后结合按键被触发后的屏幕2显示状态或指示灯点亮状态排出干扰按键，得到被触发的按键。

步骤六、将值班人员有效的操作信息与调取的操作规则进行匹配，如果相符则判断操作合规，如果不相符则判断为不合规，

具体地，步骤六包括以下详细步骤：

步骤f1、判断值班人员触发的按键是否在允许的按键列表内，如果是则执行下一步，如果不是，则判断为不合规；

步骤f2、判断值班人员触发按键的时间是否在规定的时间范围内，如果是则判断合规，如果不是，则判断为不合规。

通过上述两步判断过程，可以得到值班人员操作是否合规的信息。

步骤七、将报警类型、报警详情、值班人员的操作信息、是否合规信息上报至服务器中，且在上报信息中存在不合规信息时，及时推送提醒信息给监督人员或后台管理人员。

优选地，所述步骤六还包括，在判断结果为不合规时，启动声光报警装置或其他提示装置向值班人员发出提醒。

实施例二

本实施例与实施例一的区别在于，步骤三中获取指示灯唯一标识码的方式不同，具体地，所述步骤三中，提取指示灯的显示信息，判断报警状态的方法为：

步骤b1、通过efficient-det算法获取指示灯的状态和位置信息，所述指示灯的状态包括指示灯亮、灭和闪烁三种状态。

步骤b2、对指示灯区域进行OCR算法处理，得到相应指示灯的文字信息，并根据文字信息获取指示灯的唯一标识码。由于指示灯周围一般都设有文字标注，因此，可以通过OCR算法提取到指示灯的文字信息，由于不同功能的指示灯标注的文字不同，从而可以利用提取的文字获得指示灯的唯一标识码。

步骤b3、结合指示灯的唯一标识码和指示灯的状态，与正常状态进行对比，判断出火灾报警控制器1是否为报警状态。

本发明可以自动监控值班人员操作火灾报警控制器1时是否合规，并能在检测到操作不合规时，及时发出提醒，从而可以尽快消除隐患，并且为日后事件还原和相关人员的追责提供了依据。

以上所述为本发明的实施方式，应当指出，对于本领域的普通技术人员而言，在不脱离本发明原理前提下，还可以做出多种变形和改进，这也应该视为本发明的保护范围。

Claims (5)

1.一种基于视频的火灾报警控制器警情处理操作监控方法，其特征在于，包括以下步骤：

步骤一、按照报警发生类型，建立相应的操作规则，并保存规则库中；所述操作规则至少包括以下信息：报警类型、与报警类型对应的允许点击的按键列表，触发按键后的屏幕显示状态和指示灯显示状态，是否允许切换火灾报警控制器的运行状态，报警限时处理时间；

步骤二、通过摄像头对感兴趣区域进行监控，并实时获取感兴趣区域的视频，所述感兴趣区域至少覆盖火灾报警控制器的屏幕、指示灯区域以及火灾报警控制器的操作区域；

步骤三、根据获取的视频，通过深度学习算法，提取火灾报警控制器的屏幕和指示灯的显示信息，并根据提取的显示信息判断火灾报警控制器是否为报警状态，如果为报警状态，则执行下一步骤，如果不是，则继续监控；

步骤四、对提取屏幕和指示灯的显示信息进行分析，识别具体的报警类型和报警详情，并调取规则库中对应的操作规则；

步骤五、获取警情发生后的预设时间段内的视频，通过目标检测算法识别值班人员的操作信息，并结合屏幕和指示灯的变化状态确认值班人员的操作是否有效；所述值班人员的操作信息包括，值班人员操作按键的信息和改变火灾报警控制器运行状态信息；

步骤六、将值班人员有效的操作信息与调取的操作规则进行匹配，如果相符则判断操作合规，如果不相符则判断为不合规；

步骤七、将报警类型、报警详情、值班人员的操作信息、是否合规信息上报至服务器中，且在上报信息中存在不合规信息时，及时推送提醒信息给监督人员或后台管理人员；

所述步骤五包括以下步骤：

步骤d1、获取警情发生后的预设时间段内的视频；

步骤d2、使用efficient-det算法检测视频中火灾报警控制器的运行模式，并记录，所述运行模式包括自动模式和手动模式；

步骤d3、检测火灾报警控制器的屏幕或指示灯显示状态是否变化，若没有，则记录为未操作，若有变化，则执行下一步；

步骤d4、在火灾报警控制器的屏幕或指示灯变化时，使用efficient-det算法检测当前图像中是否出现手指，若未检测到手指，则记录为未操作；若检测到手指，则执行下一步；

步骤d5、计算手指覆盖的按键，如果手指只覆盖一个按键，则判断该按键为被触发的按键，如果手指覆盖多个按键，则结合屏幕或指示灯显示信息排出干扰按键，获得被触发的按键；

所述步骤六包括以下步骤：

步骤f1、判断值班人员触发的按键是否在允许的按键列表内，如果是则执行下一步，如果不是，则判断为不合规；

步骤f2、判断值班人员触发按键的时间是否在规定的时间范围内，如果是则判断合规，如果不是，则判断为不合规。

2.根据权利要求1所述的基于视频的火灾报警控制器警情处理操作监控方法，其特征在于，所述步骤六还包括，在判断结果为不合规时，启动声光报警装置或其他提示装置向值班人员发出提醒。

3.根据权利要求1所述的基于视频的火灾报警控制器警情处理操作监控方法，其特征在于，所述步骤一中，

所述报警类型至少分为：首警信息报警，火警信息报警、故障信息报警、启动信息报警、反馈信息报警、屏蔽信息报警和消警信息报警。

4.根据权利要求1所述的基于视频的火灾报警控制器警情处理操作监控方法，其特征在于，

所述步骤三中，提取火灾报警控制器的屏幕显示信息，判断报警状态的方法为：

步骤a1、对屏幕图像进行OCR处理，获取屏幕上显示的文字/符号及对应的位置信息；

步骤a2、利用屏幕特定位置具有某些特定文字/符合，或仅以某些特定文字/符合为特征，判断火灾报警控制器是否为报警状态；

所述步骤三中，提取指示灯的显示信息，判断报警状态的方法为：

步骤b1、通过efficient-det算法获取指示灯的状态和位置信息，所述指示灯的状态包括指示灯亮、灭和闪烁三种状态；

步骤b2、根据指示灯的位置信息，获取指示灯的唯一标识码；

步骤b3、结合指示灯的唯一标识码和指示灯的状态，与正常状态进行对比，判断出火灾报警控制器是否为报警状态。

5.根据权利要求4所述的基于视频的火灾报警控制器警情处理操作监控方法，其特征在于，

所述步骤四中，对火灾报警控制器屏幕的显示信息进行分析的方法为：

根据步骤a1中提取的文字/符号，利用正则表达式判断目标行的类型，并根据目标行的类型进行信息提取，得到报警类型和报警详情；所述报警详情至少包括：报警序号、报警时间、报警设备ID和报警设备安装地点；

所述步骤四中，对指示灯的显示信息进行分析的方法为：

根据指示灯的状态和唯一标识码，与预存的报警类型进行匹配，得到匹配的报警类型。

Images