CN115861898A - 一种应用于燃气场站火焰烟雾识别方法 - Google Patents

Abstract

本发明涉及图片处理技术领域，公开了一种应用于燃气场站火焰烟雾识别方法，包括：获取实时视频流；获取视频流的当前帧和前一帧；判断所述相机是否转动；判断所述当前帧是否为第一帧或者N的倍数帧；将所述当前帧发送预设的火焰烟雾模型进行检测，获得含有检测框的当前帧；根据预设的误报消除算法对错误圈标的检测框进行误报消除；将剩余检测框作为真实火焰烟雾检测结果；判断所述当前帧是否为最后一帧，如此，采用相机的转动来提升监视范围，并保证在相机停止转动时自动进行火焰和烟雾的检测预警，同时通过预设的误报消除算法来消除可能因路灯、太阳或大雾天气所导致的误报警，综合提升燃气场站的安全管理效率和质量。

Description

一种应用于燃气场站火焰烟雾识别方法

技术领域

本发明涉及图片处理技术领域，具体涉及一种应用于燃气场站火焰烟雾识别方法。

背景技术

燃气场站施工及生产过程中危险源众多，其中火焰是引起安全事故的主要因素。火灾在人们日常生活中频繁发生且危害巨大，当火灾发生时，如果能够及时发现并报警，就能最大程度的减少损失。现有的火灾检测方法主要包括传感器检测法和图像检测法。

传感器检测法主要利用传感器对检测区域进行温度监测，但是传感器的安装过程以及探测范围均受到空间制约，进行室内检测时，需要多点、全范围布置传感器才能保证不遗漏任何一个角落，甚至在火焰形成一定规模时才能检测到，监测不及时、布置麻烦、安装要求较高并且成本较大，进行室外检测时，传感器的测量准确度受到火点距离影响，可靠性低，同时存在误判报警的可能，例如高温的汽车发动机以及夏天高速运转导致温度过高的车轮胎，虽然温度达到着火温度，但并未发生火灾，此时报警不能产生实用价值。

而目前对于燃气场站内火焰的检查大多是通过人为检查的方式进行的，但该方式费事费力效率低下，且不能第一时间发现火焰。部分燃气场站虽然能够使用人工智能方式进行火焰烟雾检测，但普遍存在一些误报，且这些误检难以剔除。

发明内容

本发明的目的在于提供一种应用于燃气场站火焰烟雾识别方法，解决以下技术问题：

如何提供一种能够可靠、及时的对大面积的燃气场站的火焰或烟雾进行自动识别报警的方法。

本发明的目的可以通过以下技术方案实现：

一种应用于燃气场站火焰烟雾识别方法，包括：

步骤S01，获取实时视频流；

步骤S02，获取视频流的当前帧和前一帧；

步骤S03，判断所述相机是否转动；若是，返回所述步骤S02，否则进入步骤S04；

步骤S04，判断所述当前帧是否为第一帧或者N的倍数帧；若否，返回所述步骤S02，否则进入步骤S05；

步骤S05，将所述当前帧发送预设的火焰烟雾模型进行检测，获得含有检测框的当前帧；

步骤S06，根据预设的误报消除算法对错误圈标的检测框进行误报消除；

步骤S07，将剩余检测框作为真实火焰烟雾检测结果；

步骤S08，判断所述当前帧是否为最后一帧；若否，返回所述步骤S02，否则结束；

其中，N为大于1的整数，所述检测框用于圈标所述当前帧中疑似火焰或烟雾的位置，所述火焰烟雾模型为经过训练的神经网络模型。

作为本发明进一步的方案：所述步骤S03包括：

步骤S031，从所述当前帧和所述前一帧中的相同位置处分别选择四个判定区域；

步骤S032，将所述当前帧的每个判定区域和所述前一帧的每个对应判定区域分别进行卡方距离计算；

若三个及以上个所述卡方距离超过预阈值，则判定所述相机为转动状态，否则所述相机为静止状态。

作为本发明进一步的方案：所述当前帧的判定区域的位置为所述当前帧的四个角，判定区域的尺寸均为100*100；

卡方距离的计算公式为：

其中，A代表所述前一帧的判定区域的图像直方图，A_i为A在水平i的观察频数，n为256代表0-255的像素值；E_i为E在水平i的期望频数，E代表所述当前帧的判定区域的图像直方图；k为总频数，为256；p_i为水平i的期望频率。

作为本发明进一步的方案：所述步骤S06包括：

步骤S061，判断所述当前帧是否为包含所述检测框的第一帧；若是，进入步骤S062，否则直接进入步骤S063；

步骤S062，将当前帧所包含的检测框作为历史检测框；

步骤S063，将当前帧所包含的检测框的数量与所述历史检测框的数量进行对比，若数量一致，则进入步骤S064，否则返回所述步骤S062；

步骤S064，计算当前帧所包含的检测框与所述历史检测框的IOU值；

步骤S065，判断所述IOU值是否大于预设值，若是，则消除所述当前帧中对应的检测框，并进入步骤S062，否则进入步骤S066；

步骤S066，将当前帧中的所述检测框作为所述剩余检测框。

作为本发明进一步的方案：所述IOU值的获取方法包括：

其中，S_交为当前帧所包含的检测框与所述历史检测框的重叠区域面积，S_并为当前帧所包含的检测框与所述历史检测框的总区域面积。

作为本发明进一步的方案：所述步骤S01包括：

步骤S011，设置摄像组；

步骤S012，对所述摄像组中的每个相机设置转动规则；

步骤S013，按照所述转动规则启动所述摄像组；

步骤S014，获取所述摄像组发送的RTSP视频流；

其中，所述摄像组包括分布设置在燃气场站的四个方向围墙中心的四个相机；所述转动规则包括：

每个所述相机设置4个转动点位，每个点位停留3分钟，然后转动到下一个点位，点位到点位的转动时间为1秒；所述相机的转动方向均为顺时针方向。

作为本发明进一步的方案：所述火焰烟雾模型的训练方法包括：

对四个所述相机的RTSP视频流进行图像数据采集，进行预处理和打标处理后获得数据集；

将所述数据集中的训练样本输入yolov5进行训练得到所述火焰烟雾模型。

作为本发明进一步的方案：所述预处理包括对所述数据集中的图片进行数据增强，所述数据增强包括模糊、亮度变化、马赛克增强；

所述打标处理包括对数据集中的图片按照真实识别分类进行标签设置，标签包括代表火焰的fire和代表烟雾的smoke。

本发明的有益效果：本发明采用多个相机以及各自的转动来提升监视范围，并保证在相机停止转动时基于AI技术进行自动进行火焰和烟雾的检测预警，综合提升燃气场站的安全管理效率和质量；另外，由于火焰的发生场景、燃烧形态、伴随产生的烟雾的形态等，具有多样性，极容易受环境的影响，本发明同时通过预设的误报消除算法来消除可能因路灯、太阳或大雾天气所导致的误报警，通过图像处理与识别技术，避免了繁琐而耗时的特征提取过程，提高火灾检测的准确率。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明中火焰烟雾识别方法的原理性流程示意图；

图2为本发明中燃气场站火焰烟雾***示意图；

图3为本发明中燃气场站相机巡航与转动模式示意图；

图4为本发明中判断相机是否转动的方法的流程示意图；

图5为本发明中判断相机是否转动的卡方距离计算效果图；

图6为本发明中误报消除算法的流程示意图；

图7为本发明中火焰烟雾模型检测效果图；

图8为本发明中误报消除效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参考图1所示，本发明为一种应用于燃气场站火焰烟雾识别方法，包括：

步骤S01，获取实时视频流；

步骤S02，获取视频流的当前帧和前一帧；

步骤S03，判断相机是否转动；若是，返回步骤S02，否则进入步骤S04；

步骤S04，判断当前帧是否为第一帧或者N的倍数帧；若否，返回步骤S02，否则进入步骤S05；

步骤S05，将当前帧发送预设的火焰烟雾模型进行检测，获得含有检测框的当前帧；

步骤S06，根据预设的误报消除算法对错误圈标的检测框进行误报消除；

步骤S07，将剩余检测框作为真实火焰烟雾检测结果；

步骤S08，判断当前帧是否为最后一帧；若否，返回步骤S02，否则结束；

其中，N为大于1的整数，检测框用于圈标当前帧中疑似火焰或烟雾的位置，火焰烟雾模型为经过训练的神经网络模型。

在本发明的本实施例中，步骤S01包括：

步骤S011，设置摄像组；

步骤S012，对摄像组中的每个相机设置转动规则；

步骤S013，按照转动规则启动摄像组；

步骤S014，获取摄像组发送的RTSP视频流；

其中，如图2和3所示，摄像组包括分布设置在燃气场站的四个方向围墙中心的四个相机；相机通过内置有火焰烟雾模型的服务器与上位机进行连接，由上位机实时显示带有真实火焰烟雾检测结果的视频画面，以对工作人员进行提醒。

在本实施例中，N可选为5，转动规则可包括：每个相机设置4个转动点位，每个点位停留3分钟，然后转动到下一个点位，点位到点位的转动时间为1秒；相机的转动方向均为顺时针方向。如此设计，通过分散在四周的四个可转动的相机能够对整个燃气场站进行实时全面监控，提升监视范围，当相机停止转动时自动进行火焰和烟雾的检测预警，同时通过预设的误报消除算法来消除可能因路灯、太阳或大雾天气所导致的误报警，综合提升燃气场站的安全管理效率和质量。

在本发明的本实施例中，如图4所示，步骤S03包括：

步骤S031，从当前帧和前一帧中的相同位置处分别选择四个判定区域；当前帧的判定区域的位置为当前帧的四个角，判定区域的尺寸均为100*100；

步骤S032，将当前帧的每个判定区域和前一帧的每个对应判定区域分别进行图像直方图统计和卡方距离计算；

若三个及以上个卡方距离超过预阈值，则判定相机为转动状态，否则相机为静止状态。

如图5所示，卡方距离的计算公式为：

其中，A代表前一帧的判定区域的图像直方图，A_i为A在水平i的观察频数，n为256代表0-255的像素值；E_i为E在水平i的期望频数，E代表当前帧的判定区域的图像直方图；k为总频数，为256；p_i为水平i的期望频率。

作为本发明进一步的方案，如图6所示，步骤S06包括：

步骤S061，判断当前帧是否为包含检测框的第一帧；若是，进入步骤S062，否则直接进入步骤S063；

步骤S062，将当前帧所包含的检测框作为历史检测框；如此相当于火焰烟雾模型检测到检测框的第一帧不直接作为结果，而是存放起来作为历史检测框；

步骤S063，将当前帧所包含的检测框的数量与历史检测框的数量进行对比，若数量一致，则进入步骤S064，否则返回步骤S062；

步骤S064，计算当前帧所包含的检测框与历史检测框的IOU值；

步骤S065，判断IOU值是否大于预设值，若是，则消除当前帧中对应的检测框，并进入步骤S062，否则进入步骤S066；在本发明中，预设值可选为0.83。

步骤S066，将当前帧中的检测框作为剩余检测框。

具体的，本实施例中，IOU值的获取方法包括：

其中，S_交为当前帧所包含的检测框与历史检测框的重叠区域面积，S_并为当前帧所包含的检测框与历史检测框的总区域面积。

在本发明的本实施例中，火焰烟雾模型的训练方法包括：

对四个相机的RTSP视频流进行图像数据采集，进行预处理和打标处理后获得数据集；

预处理过程中，可将图片由1920*1080缩小至640*640，将数据集中的训练样本输入yolov5进行训练得到模型1，命名为火焰烟雾模型，即fire-smoke.pt，将模型fire-smoke.pt转化为fire-smoke.wts，生成fire-smoke.engine用于检测火焰烟雾。

预处理还包括对数据集中的图片进行数据增强，数据增强包括模糊、亮度变化、马赛克增强；

打标处理包括对数据集中的图片按照真实识别分类进行标签设置，数据集可命名为fire-smoke。标签包括代表火焰的fire和代表烟雾的smoke。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (8)

1.一种应用于燃气场站火焰烟雾识别方法，其特征在于，包括：

步骤S01，获取实时视频流；

步骤S02，获取视频流的当前帧和前一帧；

步骤S03，判断所述相机是否转动；若是，返回所述步骤S02，否则进入步骤S04；

步骤S04，判断所述当前帧是否为第一帧或者N的倍数帧；若否，返回所述步骤S02，否则进入步骤S05；

步骤S05，将所述当前帧发送预设的火焰烟雾模型进行检测，获得含有检测框的当前帧；

步骤S06，根据预设的误报消除算法对错误圈标的检测框进行误报消除；

步骤S07，将剩余检测框作为真实火焰烟雾检测结果；

步骤S08，判断所述当前帧是否为最后一帧；若否，返回所述步骤S02，否则结束；

其中，N为大于1的整数，所述检测框用于圈标所述当前帧中疑似火焰或烟雾的位置，所述火焰烟雾模型为经过训练的神经网络模型。

2.根据权利要求1所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述步骤S03包括：

步骤S031，从所述当前帧和所述前一帧中的相同位置处分别选择四个判定区域；

步骤S032，将所述当前帧的每个判定区域和所述前一帧的每个对应判定区域分别进行卡方距离计算；

若三个及以上个所述卡方距离超过预阈值，则判定所述相机为转动状态，否则所述相机为静止状态。

3.根据权利要求2所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述当前帧的判定区域的位置为所述当前帧的四个角，判定区域的尺寸均为100*100；

卡方距离的计算公式为：

其中，A代表所述前一帧的判定区域的图像直方图，A_i为A在水平i的观察频数，n为256代表0-255的像素值；E_i为E在水平i的期望频数，E代表所述当前帧的判定区域的图像直方图；k为总频数，为256；p_i为水平i的期望频率。

4.根据权利要求1所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述步骤S06包括：

步骤S061，判断所述当前帧是否为包含所述检测框的第一帧；若是，进入步骤S062，否则直接进入步骤S063；

步骤S062，将当前帧所包含的检测框作为历史检测框；

步骤S063，将当前帧所包含的检测框的数量与所述历史检测框的数量进行对比，若数量一致，则进入步骤S064，否则返回所述步骤S062；

步骤S064，计算当前帧所包含的检测框与所述历史检测框的IOU值；

步骤S065，判断所述IOU值是否大于预设值，若是，则消除所述当前帧中对应的检测框，并进入步骤S062，否则进入步骤S066；

步骤S066，将当前帧中的所述检测框作为所述剩余检测框。

5.根据权利要求4所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述IOU值的获取方法包括：

其中，S_交为当前帧所包含的检测框与所述历史检测框的重叠区域面积，S_并为当前帧所包含的检测框与所述历史检测框的总区域面积。

6.根据权利要求1所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述步骤S01包括：

步骤S011，设置摄像组；

步骤S012，对所述摄像组中的每个相机设置转动规则；

步骤S013，按照所述转动规则启动所述摄像组；

步骤S014，获取所述摄像组发送的RTSP视频流；

其中，所述摄像组包括分布设置在燃气场站的四个方向围墙中心的四个相机；所述转动规则包括：

每个所述相机设置4个转动点位，每个点位停留3分钟，然后转动到下一个点位，点位到点位的转动时间为1秒；所述相机的转动方向均为顺时针方向。

7.根据权利要求2所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述火焰烟雾模型的训练方法包括：

对四个所述相机的RTSP视频流进行图像数据采集，进行预处理和打标处理后获得数据集；

将所述数据集中的训练样本输入yolov5进行训练得到所述火焰烟雾模型。

8.根据权利要求7所述的应用于燃气场站火焰烟雾识别方法，其特征在于，所述预处理包括对所述数据集中的图片进行数据增强，所述数据增强包括模糊、亮度变化、马赛克增强；

所述打标处理包括对数据集中的图片按照真实识别分类进行标签设置，标签包括代表火焰的fire和代表烟雾的smoke。

Images