CN116152667B - 一种火灾检测方法、装置、电子设备及存储介质 - Google Patents

一种火灾检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116152667B
CN116152667B CN202310395650.XA CN202310395650A CN116152667B CN 116152667 B CN116152667 B CN 116152667B CN 202310395650 A CN202310395650 A CN 202310395650A CN 116152667 B CN116152667 B CN 116152667B
Authority
CN
China
Prior art keywords
image
target object
target
area
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310395650.XA
Other languages
English (en)
Other versions
CN116152667A (zh
Inventor
王隐之
李�诚
周晓
祝克帅
吴罕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Intelingda Information Technology Co ltd
Intelingda Information Technology Shenzhen Co ltd
Original Assignee
Hefei Intelingda Information Technology Co ltd
Intelingda Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Intelingda Information Technology Co ltd, Intelingda Information Technology Shenzhen Co ltd filed Critical Hefei Intelingda Information Technology Co ltd
Priority to CN202310395650.XA priority Critical patent/CN116152667B/zh
Publication of CN116152667A publication Critical patent/CN116152667A/zh
Application granted granted Critical
Publication of CN116152667B publication Critical patent/CN116152667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本申请实施例提供了一种火灾检测方法、装置、电子设备及存储介质，涉及安防技术领域，该方法包括：获取第一图像；采用目标检测网络，对第一图像进行检测，得到检测为烟雾或火焰的目标对象；在目标对象为第一图像中的前景时，确定在第一图像之前的连续预设数量帧图像中告警图像的总帧数，告警图像为预设数量帧图像中包括目标对象的图像；若总帧数大于等于预设帧数阈值，则对目标对象进行结构相似度和动态特性判断，得到火灾检测结果。应用本申请实施例提供的技术方案，能够扩大火灾检测的应用范围，降低火灾的误报率。

Description

一种火灾检测方法、装置、电子设备及存储介质
技术领域
本申请涉及安防技术领域，特别是涉及一种火灾检测方法、装置、电子设备及存储介质。
背景技术
在工地、煤矿、石油化工、水利水电、森林防火、仓储物流、秸秆焚烧等生产生活场景中，面临着愈发严峻的火灾形势。当前的火灾检测方法可以分为两种，第一种是基于热成像、红外成像、偏振镜头、烟雾浓度等烟雾或火焰的物理特性进行检测的方法，第二种是基于静态图像中的烟雾或火焰特性进行检测的方法。上述第一种火灾检测方法会限制烟雾或火焰的识别距离，只能适用于特殊场景，且无法做到对烟雾和火焰同时检测，不能广泛应用，而第二种火灾检测方法会将灯光、云朵等背景信息误报为火灾。
发明内容
本申请实施例的目的在于提供一种火灾检测方法、装置、电子设备及存储介质，以扩大火灾检测的应用范围，降低火灾的误报率。具体技术方案如下：
第一方面，本申请实施例提供了一种火灾检测方法，所述方法包括：
获取第一图像；
采用目标检测网络，对所述第一图像进行检测，得到检测为烟雾或火焰的目标对象；
在所述目标对象为所述第一图像中的前景时，确定在所述第一图像之前的连续预设数量帧图像中告警图像的总帧数，所述告警图像为所述预设数量帧图像中包括所述目标对象的图像；
若所述总帧数大于等于预设帧数阈值，则对所述目标对象进行结构相似度和动态特性判断，得到火灾检测结果。
在一些实施例中，所述方法还包括：
使用混合高斯模型，确定所述第一图像中的前景像素点和背景像素点，得到前景图；
统计所述目标对象在所述前景图上对应的目标区域包括的前景像素点的个数；
若统计得到的个数与所述目标区域包括的像素点总个数的比值大于预设比例阈值，则确定所述目标对象为所述第一图像中的前景。
在一些实施例中，所述第一图像中所述目标对象所占区域为第一区域；
对所述目标对象进行结构相似度判断，包括：
获取第二图像，所述第二图像中与所述第一区域的位置相同的区域为第二区域；
计算所述第一区域和所述第二区域的结构相似度；
若所述结构相似度位于预设相似度区间内，则确定所述目标对象为疑似烟火。
在一些实施例中，所述计算所述第一区域和所述第二区域的结构相似度的步骤，包括：
根据所述第一区域的亮度平均值、亮度标准差和亮度协方差，以及所述第二区域的亮度平均值、亮度标准差和亮度协方差，确定所述第一区域和所述第二区域的结构相似度。
在一些实施例中，对所述目标对象进行动态特性判断，包括：
截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图；
采用动态分类网络，对所述多个告警目标小图进行动态特性判断，得到分类结果，所述分类结果指示所述目标对象是否为疑似烟火。
在一些实施例中，所述截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图的步骤，包括：
按照等间隔的方式，从所述多个告警图像中选择告警图像；
从所选择的告警图像中截取所述目标对象所占的区域，得到告警目标小图。
在一些实施例中，在得到所述火灾检测结果之后，所述方法还包括：
当所述火灾检测结果指示所述目标对象为火焰时，采用热成像技术或红外成像技术，获取第三图像，所述第三图像中所述目标对象所占区域为第三区域；
若所述第三区域的亮度平均值大于预设亮度阈值，则输出指示所述目标对象为火焰的告警信息。
第二方面，本申请实施例提供了一种火灾检测装置，所述装置包括：
第一获取模块：用于获取第一图像；
检测模块：用于采用目标检测网络，对所述第一图像进行检测，得到检测为烟雾或火焰的目标对象；
第一确定模块：用于在所述目标对象为所述第一图像中的前景时，确定在所述第一图像之前的连续预设数量帧图像中告警图像的总帧数，所述告警图像为所述预设数量帧图像中包括所述目标对象的图像；
判断模块：用于若所述总帧数大于等于预设帧数阈值，则对所述目标对象进行结构相似度和动态特性判断，得到火灾检测结果。
在一些实施例中，所述装置还包括：
第二确定模块：用于使用混合高斯模型，确定所述第一图像中的前景像素点和背景像素点，得到前景图；
统计模块：用于统计所述目标对象在所述前景图上对应的目标区域包括的前景像素点的个数；
第三确定模块：用于若统计得到的个数与所述目标区域包括的像素点总个数的比值大于预设比例阈值，则确定所述目标对象为所述第一图像中的前景。
在一些实施例中，所述第一图像中所述目标对象所占区域为第一区域；
所述判断模块，包括：
获取单元：用于获取第二图像，所述第二图像中与所述第一区域的位置相同的区域为第二区域；
计算单元：用于计算所述第一区域和所述第二区域的结构相似度；
确定单元：用于若所述结构相似度位于预设相似度区间内，则确定所述目标对象为疑似烟火。
在一些实施例中，所述计算单元，具体用于：
根据所述第一区域的亮度平均值、亮度标准差和亮度协方差，以及所述第二区域的亮度平均值、亮度标准差和亮度协方差，确定所述第一区域和所述第二区域的结构相似度。
在一些实施例中，所述判断模块，包括：
截取单元：用于截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图；
判断单元：用于采用动态分类网络，对所述多个告警目标小图进行动态特性判断，得到分类结果，所述分类结果指示所述目标对象是否为疑似烟火。
在一些实施例中，所述截取单元，具体用于：
按照等间隔的方式，从所述多个告警图像中选择告警图像；
从所选择的告警图像中截取所述目标对象所占的区域，得到告警目标小图。
在一些实施例中，所述装置还包括：
第二获取模块：用于在得到所述火灾检测结果之后，当所述火灾检测结果指示所述目标对象为火焰时，采用热成像技术或红外成像技术，获取第三图像，所述第三图像中所述目标对象所占区域为第三区域；
输出模块：用于若所述第三区域的亮度平均值大于预设亮度阈值，则输出指示所述目标对象为火焰的告警信息。
第三方面，本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的火灾检测方法步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的火灾检测方法步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的火灾检测方法步骤。
本申请实施例有益效果：
本申请实施例提供的技术方案中，利用目标检测网络，结合图像中烟雾和火焰的颜色、形状等图像特征，从图像中筛选出大量为烟雾或火焰的目标对象，实现了对烟雾和火焰的高检出率，扩大了火灾检测方法的应用范围。在获得目标对象后，采用前景、采集到目标对象的总帧数、结构相似度和动态特性等，对目标对象进行多级过滤，排除非烟雾、非火焰的目标对象，基于此能够准确的确定出为烟雾或火焰的目标对象，提高了火灾检测结果的准确性，降低了火灾的误报率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的火灾检测方法的第一种流程示意图；
图2为本申请实施例提供的目标检测网络的一种结构示意图；
图3为本申请实施例提供的图像帧序列的一种示意图；
图4为本申请实施例提供的记录跟踪信息的一种示意图；
图5为本申请实施例提供的前景检测方法的一种流程示意图；
图6为本申请实施例提供的结构相似度判断的一种流程示意图；
图7为本申请实施例提供的动态特性判断的一种流程示意图；
图8为本申请实施例提供的动态分类网络的一种结构示意图；
图9为本申请实施例提供的火灾检测方法的第二种流程示意图；
图10为本申请实施例提供的火灾检测方法的第三种流程示意图；
图11为本申请实施例提供的所采集的图像帧的一种示意图；
图12为本申请实施例提供的目标网络检测结果的一种示意图；
图13为本申请实施例提供的前景检测结果的一种示意图；
图14为本申请实施例提供的跟踪及缓存结果的一种示意图；
图15为本申请实施例提供的火灾检测装置的一种结构示意图；
图16为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
在工地、煤矿、石油化工、水利水电、森林防火、仓储物流、秸秆焚烧等生产生活场景中，面临着愈发严峻的火灾形势。当前的火灾检测方法可以分为两种，第一种是基于热成像、红外成像、偏振镜头、烟雾浓度等烟雾或火焰的物理特性进行检测的方法，第二种是基于静态图像中的烟雾或火焰特性进行检测的方法。上述第一种火灾检测方法会限制烟雾或火焰的识别距离，只能适用于特殊场景，且无法做到对烟雾和火焰同时检测，不能广泛应用，而第二种火灾检测方法会将灯光、云朵等背景信息误报为火灾。
为了解决上述技术问题，本申请实施例提供了一种火灾检测方法，该方法可以应用于电子设备，该电子设备可以为手机、平板、电脑、服务器、集群等设备，对此不进行限定。为便于理解，下面以电子设备为执行主体进行说明，并不起限定作用。
本申请实施例提供的火灾检测方法中，目标检测网络为基于深度学***台能达到实时的推理速度。
在获得预筛选结果之后，电子设备结合多帧图像中运动的前景区域、对跟踪到的同一个目标对象的形状变化和颜色变化等动态特性、红外成像或热成像域的亮度信息等火焰物理特性，对预筛选结果进行多级过滤，以实现先极高检出，再多级过滤的目的，使得本申请实施例提供的火灾检测方法能在数秒内完成烟雾和火焰的探测及报警，大大缩短了火灾报警时间，降低了人工监控的工作强度，提高了消防***的工作效率及质量，降低了火灾隐患。
本申请实施例提供的火灾检测方法旨在通过神经网络手段结合前景区域、烟雾和火焰的动态特性、火焰物理特性等，提供一种适用于工地、煤矿、石油化工、水利水电、森林防火、仓储物流、秸秆焚烧等多种场景的火灾检测方法，极大的拓展适用场景，同时提升烟雾和火焰的检出率，降低烟火的误报率。
另外，针对灯光、色彩近似物体、云朵、山雾等容易误报为烟雾或火焰的目标，本申请实施例提供的火灾检测方法中，可以先通过极低阈值保证烟火目标的高检出，再通过多种过滤手段过滤非烟雾和非火焰的目标。在使用多种过滤手段进行过滤的过程中，仅需对个别阈值进行设置即可实现本申请实施例提供的火灾检测方法，使得本申请实施例提供的火灾检测方法操作简便，运维成本低。
下面通过具体实施例，对本申请实施例提供的火灾检测方法进行详细说明。
参见图1，图1为本申请实施例提供的火灾检测方法的第一种流程示意图，该方法包括如下步骤：
步骤S11：获取第一图像。
步骤S12：采用目标检测网络，对第一图像进行检测，得到检测为烟雾或火焰的目标对象。
步骤S13：在目标对象为第一图像中的前景时，确定在第一图像之前的连续预设数量帧图像中告警图像的总帧数，告警图像为预设数量帧图像中包括目标对象的图像。
步骤S14：若总帧数大于等于预设帧数阈值，则对目标对象进行结构相似度和动态特性判断，得到火灾检测结果。
本申请实施例提供的技术方案中，利用目标检测网络，结合图像中烟雾和火焰的颜色。形状等图像特征，从图像中筛选出大量为烟雾或火焰的目标对象，实现了对烟雾和火焰的高检出率，扩大了火灾检测方法的应用范围。在获得目标对象后，采用前景、采集到目标对象的总帧数、结构相似度和动态特性等，对目标对象进行多级过滤，排除非烟雾、非火焰的目标对象，基于此能够准确的确定出为烟雾或火焰的目标对象，提高了火灾检测结果的准确性，降低了火灾的误报率。
上述步骤S11中，第一图像可以为摄像机当前采集到的一帧图像，也可以为摄像机预先采集的视频中的任一帧图像，对此不进行限定。以第一图像为摄像机当前采集到的一帧图像为例。摄像机在采集到一帧图像后，将该帧图像传输给电子设备。电子设备接收摄像机发送的该帧图像（即第一图像）。
上述步骤S12中，目标检测网络可以为任一神经网络，如上述yolov5s网络。一个示例中，目标检测网络的结构可参见图2所示，图2中，目标检测网络中各网络层如下：CBL层、CSP1_x层、CSP2_x层、SPP层、反卷积层（ConvTranspose2d层）、特征融合层（Concat层）、卷积层（Conv层）以及输出层。
CBL层：由卷积层（Conv层）、批归一化层（batch normalization，BN）、LeakyRelu激活函数组成。
CSP1_x层：借鉴CSPNet（CSPNet:Cross Stage Partial Network，跨阶段局部网络）结构，该网络层由CBL层、x个Resunit层（Resunit残差结构）、Conv层、Concat层、BN层和LeakyRelu激活函数组成。CSP1_x层中的字符x表示CSP1_x层包括的Resunit层的个数。如图2所示，CSP1_x层中的字符x=1或3，当x=1时，CSP1_x层为CSP1_1层，CSP1_1层包括1个Resunit层；当x=3时，CSP1_x层为CSP1_3层，CSP1_3层包括3个Resunit层。
Resunit层：借鉴Resnet网络中的残差结构，由CBL层和特征融合层（ADD层）组成，可以让目标检测网络构建的更深。
ADD层：相同尺寸两张特征图，对等位置相加的方式融合特征。
CSP2_x层：借鉴CSPNet结构，该网络层由x个CBL层、Conv层、Concat层、BN层和LeakyRelu激活函数组成。CSP2_x层中的字符x表示CSP2_x层中除首个CBL层外还包括的CBL层的个数。如图2所示，CSP2_x层中的字符x=1，例如，当x=1时，CSP2_x层为CSP2_1层，CSP2_1层中除首个CBL层外还包括1个CBL层。
SPP层：由多个最大值池化层（Maxpool层）和Concat层组成。
Concat层：相同尺寸的两张特征图以通道合并的方式融合特征。
输出层：网络的第一个输出层（output1）、网络的第二个输出层（output2）以及网络的第三个输出层（output3）。
本申请实施例中，目标检测网络的结构还可以采用其他形式实现，对此不进行限定。为提高推理速度，目标检测网络可以为量化后的神经网络，采用量化后的目标检测网络，可以使训练生成的模型占据的物理存储空间较小，减小电子设备的存储压力。
电子设备获取到第一图像后，将第一图像输入目标检测网络，目标检测网络对第一图像处理后，输出第一图像中检测到的目标对象，目标对象可以为烟雾，也可以为火焰，目标对象的数量可以为一个或多个。目标检测网络输出一个目标对象时，可以输出该目标对象对应的目标框信息，以目标框信息表示该目标对象。其中，目标框信息可以包括目标框的坐标、及目标框的宽和高等信息，目标框所表示的目标对象为烟雾或火焰的置信度。这里，可以设置较低的置信度阈值，这样，电子设备可以将大部分置信度高于置信度阈值的目标对象均评定为烟雾或火焰，保证烟火的高检出率。
本申请实施例中，目标检测网络预测的目标框相对于锚点的偏移坐标为（t x ，t y ），预测的目标框的宽度和高度为（t w ，t h ），锚框的宽度和高度为（p w ，p h ），锚框的坐标为（c x ，c y ）此时，电子设备可以通过如下公式（1）和公式（2）计算得到目标框的坐标：
Figure SMS_1
（1）
Figure SMS_2
（2）
在上述公式（1）、（2）中，（b x ，b y ）为目标框的坐标，
Figure SMS_3
为神经网络的激活函数，（t x ，t y ）为预测的目标框相对于锚点的偏移坐标，（c x ，c y ）为锚框的坐标。
电子设备可以通过如下公式（3）和公式（4）计算得到目标框的宽度和高度：
Figure SMS_4
（3）
Figure SMS_5
（4）
上述公式（3）和公式（4）中，（b w ，b h ）为目标框的宽度和高度，（p w ，p h ）为锚框的宽度和高度，
Figure SMS_6
为神经网络的激活函数，（t w ，t h ）为预测的目标框的宽度和高度。
上述步骤S13中，告警图像即为包括目标对象的图像。电子设备检测目标对象是否为第一图像中的前景，当检测到目标对象为第一图像中的前景时，在第一图像之前的连续预设数量帧图像中，查找告警图像，并统计告警图像的总帧数。其中，预设数量可以根据实际需求进行设定，如预设数量可以为20、50、100等。本申请实施例中，第一图像为当前采集时间最晚的一帧告警图像。
本申请实施例中，若在第一图像之前的图像的总帧数未达到预设数量，则电子设备确定在第一图像之前的所有图像中告警图像的总帧数。例如，如图3所示的图像帧序列示意图，当前的第一图像为图像0，在图像0之前包括20帧图像，即图像-20至图像-1，若预设数量为15，在图像0之前存在超过15帧的图像，则电子设备在图像0之前的15帧图像（即图像-14至图像0）中确定告警图像的总帧数；若预设数量为30，在图像0之前图像的帧数小于30，20<30，则电子设备在图像0之前的所有图像（即图像-20至图像0）中确定告警图像的总帧数。
本申请实施例中，为了便于统计告警图像的总帧数，提高火灾检测的效率，电子设备在确定目标对象为前景后，可以为该目标对象分配一个跟踪ID（Identity，标识），后续，再次采集到包括该目标对象的其他图像时，同样分配该跟踪ID。本申请实施例中，可以通过IOU（Intersection over Union，交并比）来确定两张图像中的目标对象是否为同一目标对象。
例如，前后两帧图像中检测出目标框A和目标框B。其中，目标框A的左上角坐标为（x a1，y a1），目标框A的右下角坐标为（x a2，y a2），目标框B的左上角坐标为（x b1，y b1），目标框B的右下角坐标为（x b2，y b2），则可通过如下公式（5）和公式（6）得出目标框A和目标框B相交部分的左上角的坐标（x 1，y 1），通过如下公式（7）和公式（8）得出目标框A和目标框B相交部分的右下角的坐标（x 2，y 2）：
x 1=max (x a1,x b1) （5）
y 1=min (y a1,y b1) （6）
x 2=min (x a2,x b2) （7）
y 2=max (y a2,y b2) （8）
上述公式（5）至公式（8）中，x a1为目标框A左上角的横坐标，y a1为目标框A左上角的纵坐标；x a2为目标框A右下角的横坐标，y a2为目标框A右下角的纵坐标；x b1为目标框B左上角的横坐标，y b1为目标框B左上角的纵坐标，x b2为目标框B右下角的横坐标，y b2为目标框B右下角的纵坐标；x 1为目标框A与目标框B相交部分的左上角的横坐标，y 1为目标框A与目标框B相交部分的左上角的纵坐标，x 2为目标框A与目标框B相交部分的右下角的横坐标，y 2为目标框A与目标框B相交部分的右下角的纵坐标；max( )函数表示返回最大的一个数值，min( )函数表示返回最小的一个数值。
得出目标框A与目标框B相交部分的左上角坐标（x 1，y 1）和右下角坐标（x 2，y 2）后，可以通过如下公式（9）求得目标框A与目标框B相交部分的面积，公式（9）如下所示：
area in =max(x 2-x 1,0)* max(y 2-y 1,0) （9）
其中，area in 表示目标框A与目标框B之间的相交部分的面积，x 1为目标框A与目标框B相交部分的左上角的横坐标，y 1为目标框A与目标框B相交部分的左上角的纵坐标，x 2为目标框A与目标框B相交部分的右下角的横坐标，y 2为目标框A与目标框B相交部分的右下角的纵坐标；max( )函数表示返回最大的一个数值，min( )函数表示返回最小的一个数值。
通过如下公式（10）可以求得目标框A的面积：
area a = (x a2-x a1)* (y a2-y a1) （10）
其中，area a 为目标框A的面积，x a1为目标框A左上角的横坐标，y a1为目标框A左上角的纵坐标；x a2为目标框A右下角的横坐标，y a2为目标框A右下角的纵坐标。
通过如下公式（11）可以求得目标框B的面积：
area b = (x b2-x b1)* (y b2-y b1) （11）
其中，area b 为目标框B的面积，x b1为目标框B左上角的横坐标，y b1为目标框B左上角的纵坐标，x b2为目标框B右下角的横坐标，y b2为目标框B右下角的纵坐标。
通过如下公式（12）可以求得目标框A与目标框B的交并比：
iou a,b =area in /(area a +area b -area in +0.00001) （12）
其中，iou a,b 表示目标框A与目标框B的交并比，area in 表示目标框A与目标框B之间的相交部分的面积，area a 为目标框A的面积，area b 为目标框B的面积。
当iou a,b 大于预设交并比阈值thriou时，可以确定目标框A与目标框B表示同一目标对象，分配同一跟踪ID；否则，可以确定目标框A与目标框B表示不同目标对象，分配不同跟踪ID。
本申请实施例中，目标框A的左上角坐标和右下角坐标，以及目标框B的左上角和右下角坐标可以通过目标检测网络输出的目标框A的坐标和宽高，以及目标检测网络输出的目标框B的坐标和宽高计算得到。
对于一个目标对象，电子设备持续记录该目标对象的跟踪信息，记录形式如图4所示。图4中，Flg0-Flgn为告警标志，Info0-Infon为跟踪信息，跟踪信息可以包括跟踪ID、目标对象所占区域的截图（即目标框所占区域的截图）等。其中，告警标志用于指示图像中是否包括目标对象。例如，若一帧图像中包括目标对象，则告警标志记为1，若一帧图像中不包括目标对象，则告警标志记为0。这样，对于一个目标对象，电子设备可以统计跟踪ID对应的告警标志记为1的图像的数量，即可获得告警图像的总帧数。
上述步骤S14中，预设帧数阈值可以根据实际需求进行设定。例如，预设帧数阈值可以为固定的数值，如10、20或30等。预设帧数阈值也可以根据预设比值确定，预设比值可以为70%、80%、90%、95%等，这种确定预设帧数阈值的方式可以使得适用于不同的场景，无需用户频繁调整预设帧数阈值，降低了维护成本。
当电子设备统计得到告警图像的总帧数后，电子设备判断告警图像的总帧数是否大于预设帧数阈值；若告警图像的总帧数小于预设帧数阈值，则说明该目标对象为干扰目标，不是烟雾或火焰，过滤掉该目标对象，结束对该目标对象的火灾检测操作；若告警图像的总帧数大于等于预设帧数阈值，则说明该目标对象很可能为烟雾或火焰，电子设备对目标对象进行结构相似度和动态特性判断，以对目标对象进行进一步过滤，以准确确定目标对象是否为烟雾或火焰，获得火灾检测结果。本申请实施例中，火灾检测结果中可以包括目标对象的类型、目标对象对应的目标框的信息、目标对象对应的目标框的置信度等。
例如，预设数量为n，预设比值为thralarm，相应的，预设帧数阈值为n*thralarm。对于一个目标对象，电子设备可以统计得到的告警图像的总帧数，进而通过如下公式（13）计算告警比例：
Figure SMS_7
（13）
其中，S alarm 为告警比例，等式右侧的分子表示告警图像的总帧数，∑为求和符号，n为预设数量，Flg i 表示告警标志，当告警标志为1时，表示当前图像i包括该目标对象，告警图像的总帧数累计加1；当告警标志为0时，表示当前图像i不包括该目标对象，告警图像的总帧数保持不变。
当S alarm ≥thralarm 时，电子设备可确定该目标对象对应的告警图像的总帧数大于等于预设帧数阈值，对目标对象进行结构相似度和动态特性判断，以对目标对象进行进一步过滤。当S alarm <thralarm 时，电子设备可确定该目标对象对应的告警图像的总帧数小于预设帧数阈值，结束对该目标对象的火灾检测操作。
当步骤S14中获得的火灾检测结果为烟雾或火焰时，电子设备指示目标对象为烟雾或火焰的告警信息，该告警信息可以包括目标对象对应的目标框坐标、目标对象的类别（如烟雾或火焰）、目标检测网络输出的该目标对象的置信度等。
与上述火灾检测方法对应，本申请实施例还提供了一种前景检测方法，参见图5，该方法可以包括如下步骤。
步骤S51：使用混合高斯模型，确定第一图像中的前景像素点和背景像素点，得到前景图。
本申请实施例中，电子设备可以使用混合高斯模型，对图像进行背景建模，进而使用混合高斯模型包括的多个高斯模型来表征图像中各个像素点的特征，在获得新一帧图像（如第一图像）后，将第一图像中的每个像素点与混合高斯模型匹配，如果匹配成功，则判定该像素点为背景像素点，否则，判定该像素点为前景像素点，将所确定的前景像素点的像素值设置为第一像素值，将所确定的背景像素点的像素值设置为第二像素值，得到前景图，以便于从前景图中区分第一图像中的前景和背景。其中，第一像素值与第二像素值设置为不同值，如将第一像素值设置为1，将第二像素值设置为0，或第一像素值设置为0，将第二像素值设置为1。
本申请实施例中，更新混合高斯模型的方法如下所示：
在某一时刻，如t时刻，对于未匹配上的像素点，即判定为前景像素点的像素点，其高斯模型的均值和协方差不发生变化，对于匹配上的像素点，即判定为背景像素点的像素点，其高斯模型的均值、协方差矩阵可按如下公式（14）、公式（15）、公式（16）进行更新。
ρ=α/w i,t （14）
μ i,t = (1-ρ)*μ i,t-1+ρX t （15）
∑ i,t = (1-ρ)*∑ i,t-1 +ρ*diag[(X t -μ i,t )T(X t -μ i,t )] （16）
其中，w i,t 为高斯模型习得的权系数，α为提前预置学习率，ρ为提前预置学习率与高斯模型习得的权系数的比值，μ i,t 为t时刻高斯模型i的均值，μ i,t-1表示t-1时刻高斯模型i的均值，X t 为t时刻匹配上的像素点的像素值，Σ i,t 为t时刻高斯模型i的协方差矩阵，Σ i,t-1表示t-1时刻高斯模型i的协方差矩阵，diag（）用于构造对角矩阵。
步骤S52：统计目标对象在前景图上对应的目标区域包括的前景像素点的个数。
本申请实施例中，电子设备确定前景图上目标对象所占的区域，即目标区域，统计目标区域包括的前景像素点的个数。例如上述步骤S51所示的实施例中，若前景像素点的值设置为1，背景像素点的值设置为0，则可以统计目标区域中像素值为1的像素点的个数来确定目标区域中前景像素点的个数。其中，目标区域中前景像素点的个数可以理解为在目标区域中前景像素点所占的面积。
步骤S53：若统计得到的个数与目标区域包括的像素点总个数的比值大于预设比例阈值，则确定目标对象为第一图像中的前景。
本申请实施例中，在统计得到的目标区域中前景像素点的个数后，电子设备可以比较目标区域中前景像素点的个数与目标区域包括的像素点的总个数；若目标区域中前景像素点的个数与目标区域包括的像素点的总个数的比值大与预设比例阈值，则电子设备可以确定目标对象为第一图像中的前景，进而执行步骤S13、步骤S14等。若目标区域中前景点的个数与目标区域包括的像素点的总个数的比值小于或等于预设比例阈值，则电子设备可以确定目标对象不是第一图像中的前景，该目标对象不再进行后续步骤。其中，预设比例阈值也可以称为前景阈值，用符号thr fg 表示，可以为提前配置的任意大小的值。
本申请实施例中，电子设备可以通过如下公式（17）求得目标区域中前景像素点的个数与目标区域包括的像素点的总个数的比值。
Figure SMS_8
（17）
其中，a为前景比例，即目标区域中前景像素点的个数与目标区域包括的像素点的总个数的比值，area表示目标区域所占的面积，也就是目标区域包括的像素点的总个数，X i 表示第i个像素点。
本申请实施例提供的技术方案中，电子设备使用混合高斯模型，根据多帧图像的信息进行运动目标的提取，对目标对象进行前景计算，将不属于前景的目标对象进行过滤，即将不属于烟雾或火焰的目标对象过滤，降低了火灾的误报率。
本申请实施例中，电子设备还可以采用其他方式检测图像中的运动目标（即前景），进而过滤背景的目标对象，对此不进行限定。
在一些实施例中，电子设备可以采用图6所示的结构相似度判断流程，对目标对象进行结构相似度判断，具体可以包括如下步骤。
步骤S61：获取第二图像，第二图像中与第一区域的位置相同的区域为第二区域。
其中，第一图像中目标对象所占区域为第一区域。电子设备在检测到告警图像的总帧数大于等于预设帧数阈值时，获取当前第一图像的下一帧图像，即第二图像。第二图像中，与第一区域的位置相同的区域作为第二区域，也就是第二图像中目标对象所占的区域。
步骤S62：计算第一区域和第二区域的结构相似度。
本申请实施例中，电子设备可以直接从第一图像和第二图像中，提取第一区域和第二区域中的特征信息，进而计算第一区域和第二区域的结构相似度。
电子设备也可以截取第一区域和第二区域，得到两个告警目标小图，如图4中Info1-Infon中的目标对象所占区域的截图。电子设备从这两个告警目标小图中提取特征信息，进而计算两个告警目标小图的结构相似度，作为第一区域和第二区域的结构相似度。这便于提取特征信息，提高了结构相似度计算的准确性。
在一些实施例中，电子设备可以通过第一区域的亮度平均值、亮度标准差和亮度协方差，以及第二区域的亮度平均值、亮度标准差和亮度协方差，确定第一区域和第二区域的结构相似度。
例如，第一区域记为x，第二区域记为y，第i个像素点的值记为img i ，第一区域与第二区域尺寸一致，第一区域与第二区域中的像素点的个数为N。
电子设备可通过如下公式（18）、公式（19）计算第一区域的亮度平均值和第二区域的亮度平均值：
Figure SMS_9
（18）
Figure SMS_10
（19）
其中，μ x 为第一区域的亮度平均值，μ y 为第二区域的亮度平均值，N为第一区域或第二区域中像素点的总个数，x i 为第一区域中第i个像素点的亮度值，y i 为第二区域中第i个像素点的亮度值，∑为求和符号。
电子设备可以通过如下公式（20）、公式（21）计算第一区域的亮度标准差和第二区域的亮度标准差：
Figure SMS_11
（20）
Figure SMS_12
（21）
其中，σ x 为第一区域的亮度标准差，σ y 为第二区域的亮度标准差，x i 为第一区域中第i个像素点的亮度值，y i 为第二区域中第i个像素点的亮度值，μ x 为第一区域的亮度平均值，μ y 为第二区域的亮度平均值，N为第一区域或第二区域中像素点的总个数，∑为求和符号。
电子设备可以通过如下公式（22）计算第一区域与第二区域的协方差：
Figure SMS_13
（22）
其中，σ xy 为第一区域与第二区域的协方差，N为第一区域或第二区域中像素点的总个数，x i 为第一区域中第i个像素点的亮度值，y i 为第二区域中第i个像素点的亮度值，μ x 为第一区域的亮度平均值，μ y 为第二区域的亮度平均值，∑为求和符号。
第一区域和第二区域的结构相似度可以由如下公式（23）计算得到：
Figure SMS_14
（23）
其中，SSIM x,y 为第一区域与第二区域的结构相似度；C1和C2为常量，统计分析分别置为5和59；μ x 为第一区域的亮度平均值，μ y 为第二区域的亮度平均值，σ x 为第一区域的亮度标准差，σ y 为第二区域的亮度标准差，σ xy 为第一区域与第二区域的协方差。
步骤S63：若结构相似度位于预设相似度区间内，则确定目标对象为疑似烟火。
本申请实施例中，预设相似度区间可以为电子设备预先设置的结构相似度的上限阈值与下限阈值构成的相似度区间，例如，设上限阈值为thr ssim_u ，下限阈值为thr ssim_d ，则结构相似度区间可以表示为[thr ssim_d ，thr ssim_u ]。当第一区域与第二区域的结构相似度大于等于下限阈值，且小于等于上限阈值时，符合结构相似度位于预设相似度区间内，电子设备可以确定目标对象为疑似烟火，即目标对象为疑似烟雾或疑似火焰；对于结构相似度小于下限阈值或结构相似度大于上限阈值的目标对象，则可判定为非烟火，退出检测。
为提高火灾检测的准确性，对于不同类型的目标对象，电子设备可以设置不同的相似度区间。例如，当目标检测网络输出目标对象为火焰时，其上限阈值和下限阈值可以为一组值，该目标对象对应的第一区域和第二区域的结构相似度位于对应的预设相似度区间时，可确定目标对象为疑似火焰；当目标检测网络输出目标对象为烟雾时，其上限阈值和下限阈值可以为另一组值，该目标对象对应的第一区域和第二区域的结构相似度位于对应的预设相似度区间时，可确定目标对象为疑似烟雾。这便于分别更准确的对火焰或烟雾目标进行过滤，扩大火灾检测方法的应用范围，并降低火灾的误报率。
本申请实施例提供的技术方案中，电子设备计算第一区域与第二区域的结构相似度后，通过预先配置的预设相似对区间对非烟火目标进行过滤，降低了火灾检测的误报率。
在一些实施例中，电子设备可以采用图7所示的动态特性判断流程，对目标对象进行动态特性判断，具体可以包括如下步骤。
步骤S71：截取多个告警图像中目标对象所占的区域，得到多个告警目标小图。
本申请实施例中，电子设备可以预先截取告警图像中目标对象所占的区域，并记录下来，如图4中的Info1-Infon包括的告警图像中目标对象所占的区域，这可以节约电子设备的存储空间。为了便于分析图像，以及简化设备的操作，电子设备也可以存储完整的告警图像，在需要进行动态特性判断时，截取告警图像中目标对象所占的区域，对此不进行限定。
本申请实施例中，电子设备可以采用以下任一种方式，获得多个告警目标小图：
方式一：从告警图像中随机选择多个告警图像，从随机选择的多个告警图像中截取目标对象所占的区域，进而得到多个告警目标小图。
方式二：按照等间隔的方式，从多个告警图像中选择告警图像，再从所选择的告警图像中截取目标对象所占的区域，进而得到多个告警目标小图。
方式三，将上述第一区域和第二区域的截图，作为告警目标小图，用于后续进行动态特性判断。
本申请实施例中，以预先从多个告警图像中截取并记录告警目标小图为例。电子设备收集缓存队列中所有告警图像对应的告警目标小图，缓存到列表list alarm 中，设列表的索引集合为A，记索引集合A中的告警目标小图数目为num A ，电子设备可以按照如下两种规则，获取后续进行动态特性判断的多个告警目标小图：
规则1：选择列表list alarm 中最早获取的告警图像对应的告警目标小图和最晚获取的告警图像对应的告警目标小图；
规则2：当后续进行动态特性判断的告警目标小图的数量k>2时，除按照规则1选择两个告警目标小图外，根据如下公式（24）计算索引值：
idx i = i* (num A -2)/(k-1) , i∈{1,2,…,k-2} （24）
其中，idx i 为索引值；k为所需选择的告警图像的数目；num A 为索引集合A中的告警目标小图的数目；i表示第i个索引值，需计算k-2个索引值。
根据计算得到的k-2个索引值，构成索引集合B，使用索引集合B中的索引值，从列表list alarm 中找到对应的k-2个告警目标小图，再结合按照规则1选择两个告警目标小图，得到后续进行动态特性判断的k个告警目标小图，这k个告警目标小图可以构成动态分类网络的输入集合list cls 。
其中，所选择的告警图像的数量（即告警目标小图的数量）可以为预先配置的所需选择的告警图像的数量。
步骤S72：采用动态分类网络，对多个告警目标小图进行动态特性判断，得到分类结果，分类结果指示目标对象是否为疑似烟火。
本申请实施例中，动态分类网络可以为任一神经网络，如上述yolov5s网络。一个示例中，动态分类网络的结构可参见图8所示，图8中，动态分类网络中各网络层如下：输入层、CBL层、CBL_3层、卷积层（conv层）、RES层、特征融合层（Concat层）、Pad层、均值池化层（Avgpool层）、维度变换层（Reshape）以及线性层，即全连接层（Linear）、输出层。
CBL层：由卷积层（Conv层）、批归一化层（batch normalization，BN）、LeakyRelu激活函数组成。其中，LeakyRelu激活函数类似rule，只是负数斜率不为0。
CBL_3层：有3个CBL层组成。
RES层：由CBL层、卷积层（Conv层）、批归一化层（batch normalization，BN）、特征融合层（ADD层）组成。借鉴Resnet网络中的残差结构，让网络可以构建的更深。
Pad层：由卷积层（Conv层）、批归一化层（batch normalization，BN）、Relu激活函数组成。
ADD层：特征融合层，相同尺寸两张特征图，对等位置相加的方式融合特征。
输入层：网络第一个输入层（input1），网络第二个输入层（input2）。
输出层：网络的第一个输出层（output1）。
Concat层：特征融合层，相同尺寸两张特征图，通道合并的方式融合特征。
烟雾和火焰的动态特性包括形态变化、亮度变化、颜色变化等。电子设备在步骤S71中获得多个告警目标小图后，将这多个告警目标小图输入动态分类网络，动态分类网络对这多个告警目标小图进行处理，得到目标对象的形态变化、亮度变化、颜色变化等动态特性；若目标检测网络输出目标对象为火焰，目标对象的形态变化、亮度变化、颜色变化等动态特性与火焰的动态特性匹配，动态分类网络输出目标对象为火焰；若目标检测网络输出目标对象为烟雾，目标对象的形态变化、亮度变化、颜色变化等动态特性与烟雾的动态特性匹配，动态分类网络输出目标对象为烟雾。
为了节约成本，烟雾目标和火焰目标采用同一动态分类网络；为了提高火灾检测的准确性，烟雾目标和火焰目标采用不同对动态分类网络。对此不进行限定。
本申请实施例中，电子设备还可以采用其他方式对目标对象进行动态特性判断，对此不进行限定。
本申请实施例提供的技术方案中，电子设备截取多个告警图像中目标对象所占的区域，得到多个告警目标小图，对多个告警目标小图进行动态特性判断，得到分类结果，进一步过滤为非烟火的目标对象，降低火灾的误报率。
在一些实施例中，电子设备关联有红外热成像设备。为了进一步提高对火焰检测的准确性，本申请实施例还提供了一种火灾检测方法，如图9所示，可以包括步骤S91-步骤S96。步骤S91-步骤S94与上述步骤S11-步骤S14相同，此处不再赘述。
步骤S95，当火灾检测结果指示目标对象为火焰时，采用热成像技术或红外成像技术，获取第三图像，第三图像中目标对象所占区域为第三区域。
本申请实施例中，当火灾检测结果指示目标对象为火焰时，电子设备可以获取红外热成像设备采用热成像技术或红外成像技术，采集的红外热成像图像，即第三图像。第三图像中的第三区域可以通过相关的目标检测方法检测确定，也可以将红外热成像图像中与第一区域的位置相同的区域作为第三区域。
本申请实施例中，红外热成像设备可以处于开启状态，当火灾检测结果指示目标对象为火焰时，电子设备可以直接获取红外热成像设备采集的当前红外热成像图像，这可以提高火灾检测的效率。红外热成像设备也可以处于关闭状态，当火灾检测结果指示目标对象为火焰时，电子设备可以开启红外热成像设备，之后，获取红外热成像设备采集的红外热成像图像，这可以节约电子设备的能源，降低火灾检测的成本。
步骤S96，若第三区域的亮度平均值大于预设亮度阈值，则输出指示目标对象为火焰的告警信息。
预设亮度阈值可以通过采集不同光照条件下着火点的红外热成像图像，并统计着火点亮度值的分布得到，预设亮度阈值可以取亮度值下限，如220，以确保在降低火灾误报率的同时提高火灾的检出率；预设亮度阈值可以取亮度值上限，火灾检测准确性。
电子设备获取第三区域的亮度平均值，将第三区域的亮度平均值与预设亮度阈值进行比较。若第三区域的亮度平均值大于预设亮度阈值，则电子设备可以输出指示目标对象为火焰的告警信息，若第三区域的亮度平均值小于或等于预设亮度阈值，则该目标对象不是火焰，不输出告警信息。
本申请实施例提供的技术方案中，当电子设备具备热成像技术或红外成像技术时，可以通过热成像技术或红外成像技术对火灾检测结果再次进行过滤，进一步降低了火灾误报率。
下面结合图10所示的火灾检测流程，对本申请实施例提供的火灾检测方法进行详细说明。其中，电子设备包括目标检测网络、前景提取模块、过滤模块、跟踪模块、相似度比对模块、动态分类模块、红外热成像模块和告警模块。
步骤S101：目标检测网络对图像中可疑烟火目标进行检测，并定位输出目标框信息。
步骤S102：目标检测网络过滤目标框信息包括的置信度小于预设置信度阈值的可疑目标。剩余的可疑目标即为目标检测网络的检出结果
步骤S101和步骤S102可参见上述步骤S12中的描述。
步骤S103：前景提取模块对图像进行前景提取，得到运动的前景区域。参见上述步骤S51中的描述。
步骤S104：过滤模块将目标检测网络的检出结果和前景提取模块提取出的前景区域进行匹配，对不在前景区域的检出结果进行过滤。参见上述步骤S52和步骤S53中的描述。
步骤S105：跟踪模块对剩余的检出结果做跟踪，维护所有检出结果的跟踪信息。
步骤S106：跟踪模块对跟踪信息进行分析，过滤跟踪序列长度超过长度阈值且跟踪序列中告警结果所占跟踪序列的比例未满足占比阈值的跟踪目标。
其中，跟踪序列长度即为第一次采集到可疑目标至当前时刻的图像帧数，长度阈值即为预设数量，跟踪序列中告警结果所占跟踪序列的比例即为告警图像的总帧数与预设数量的比值，占比阈值即为预设帧数阈值与预设数量的比值。
在步骤S106中，在跟踪序列长度未超过长度阈值时，若跟踪序列中告警结果所占跟踪序列的比例满足占比阈值的跟踪目标（即可疑目标），则可以保留该跟踪目标，执行步骤S107。若跟踪序列长度超过长度阈值，但跟踪序列中告警结果所占跟踪序列的比例未满足占比阈值的跟踪目标，则过滤掉该跟踪目标。
步骤S107：相似度比对模块从剩余的跟踪信息中，选择跟踪序列长度超过长度阈值的跟踪目标，并收集跟踪目标的告警小图。其中，告警小图即为跟踪目标所占区域的图像。
步骤S85~步骤S87可参见上述步骤S13和步骤S14中的描述。
步骤S108：相似度比对模块对跟踪目标的最后一个告警小图，结合随后一帧图像中的告警小图做结构相似度对比，比对结构相似度不满足条件，退出检测。参见上述图6所示实施例中的描述。其中，结构相似度不满足条件即为结构相似度位于预设相似度区间外。
步骤S109：动态分类模块按照等间隔的方式筛选跟踪目标的告警小图，并将筛选出来的告警小图送入动态分类网络，进行动态判断，并对判断结果，进行分类阈值过滤，过滤不满足分类阈值的跟踪目标。参见上述图7所示实施例中的描述。
本申请实施例中，不限步骤S108与步骤S109的执行顺序。
步骤S1010：红外热成像模块判断红外成像或热成像开关是否打开，并判断跟踪目标是否为火焰类别。若红外成像或热成像开关打开，跟踪目标为火焰类别，则执行步骤S1011；否则执行步骤S1012。
步骤S1011：红外热成像模块获取红外热成像图像，并对跟踪目标的最后一个检出结果做区域匹配，计算区域中的亮度值，将计算出的亮度值和亮度阈值进行比较，过滤不满足亮度阈值的跟踪目标。
步骤S1012：告警模块生成并输出烟火告警信息。其中，烟火告警信息包括目标框信息、疑似目标的类型等。
下面以一个具体的例子进行说明，设缓存长度为5，即预设数量为5。
电子设备连续采集了5帧图像，如图11中（a）~（e）所示的5帧图像。
电子设备使用目标检测网络对这5帧图像进行检测后，输出的检测结果如图12中（a）~（e）所示，包括了目标框（即图12中白色矩形框）以及置信度（或得分），其中，图12中（a）检测出的目标对象的得分为0.660929，图12中（b）检测出的目标对象的得分为0.597544，图12中（c）检测出的目标对象的得分为0.599902，图12中（d）检测出的目标对象的得分为0.347256，图12中（e）检测出的目标对象的得分为0.432127。
电子设备对这5帧图像进行前景检测，得到每个目标框的前景比例，即目标对象的前景比例，前景比例即为目标框中前景像素点所占的比例，如图13所示，图13中（a）检测出目标对象的前景比例为0.617188，图13中（b）检测出目标对象的前景比例为0.573913，图13中（c）检测出目标对象的前景比例为0.586667，图13中（d）检测出目标对象的前景比例为0.634615，图13中（e）检测出目标对象的前景比例为0.603704。
假设上述5帧图像中目标对象的前景比例均大于预设比例阈值，则电子设备对这5帧图像进行跟踪，并缓存跟踪信息。该跟踪信息包括告警目标小图，如图14中（a）~（e）中的白色矩形框区域，该跟踪信息还包括目标对象的跟踪ID，如图14中（a）~（e）中的跟踪ID为6。
基于缓存跟踪信息，电子设备对目标对象进行结构相似度判断、动态分类（动态特性判断）及红外成像或热成像判断等，由此判断该目标对象是否为烟雾或火焰，进而进行烟火报警。
与上述火灾检测方法对应，本申请实施例还提供了一种火灾检测装置，如图15所示，该装置包括：
第一获取模块151：用于获取第一图像；
检测模块152：用于采用目标检测网络，对第一图像进行检测，得到检测为烟雾或火焰的目标对象；
第一确定模块153：用于在目标对象为第一图像中的前景时，确定在第一图像之前的连续预设数量帧图像中告警图像的总帧数，告警图像为预设数量帧图像中包括目标对象的图像；
判断模块154：用于若总帧数大于等于预设帧数阈值，则对目标对象进行结构相似度和动态特性判断，得到火灾检测结果。
本申请实施例提供的技术方案中，利用目标检测网络，结合图像中烟雾和火焰的颜色。形状等图像特征，从图像中筛选出大量为烟雾或火焰的目标对象，实现了对烟雾和火焰的高检出率，扩大了火灾检测方法的应用范围。在获得目标对象后，采用前景、采集到目标对象的总帧数、结构相似度和动态特性等，对目标对象进行多级过滤，排除非烟雾、非火焰的目标对象，基于此能够准确的确定出为烟雾或火焰的目标对象，提高了火灾检测结果的准确性，降低了火灾的误报率。
在一些实施例中，所述装置还包括：
第二确定模块：用于使用混合高斯模型，确定所述第一图像中的前景像素点和背景像素点，得到前景图；
统计模块：用于统计所述目标对象在所述前景图上对应的目标区域包括的前景像素点的个数；
第三确定模块：用于若统计得到的个数与所述目标区域包括的像素点总个数的比值大于预设比例阈值，则确定所述目标对象为所述第一图像中的前景。
在一些实施例中，所述第一图像中所述目标对象所占区域为第一区域；
所述判断模块154，包括：
获取单元：用于获取第二图像，所述第二图像中与所述第一区域的位置相同的区域为第二区域；
计算单元：用于计算所述第一区域和所述第二区域的结构相似度；
确定单元：用于若所述结构相似度位于预设相似度区间内，则确定所述目标对象为疑似烟火。
在一些实施例中，所述计算单元，具体用于：
根据所述第一区域的亮度平均值、亮度标准差和亮度协方差，以及所述第二区域的亮度平均值、亮度标准差和亮度协方差，确定所述第一区域和所述第二区域的结构相似度。
在一些实施例中，所述判断模块154，包括：
截取单元：用于截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图；
判断单元：用于采用动态分类网络，对所述多个告警目标小图进行动态特性判断，得到分类结果，所述分类结果指示所述目标对象是否为疑似烟火。
在一些实施例中，所述截取单元，具体用于：
按照等间隔的方式，从所述多个告警图像中选择告警图像；
从所选择的告警图像中截取所述目标对象所占的区域，得到告警目标小图。
在一些实施例中，所述装置还包括：
第二获取模块：用于在得到所述火灾检测结果之后，当所述火灾检测结果指示所述目标对象为火焰时，采用热成像技术或红外成像技术，获取第三图像，所述第三图像中所述目标对象所占区域为第三区域；
输出模块：用于若所述第三区域的亮度平均值大于预设亮度阈值，则输出指示所述目标对象为火焰的告警信息。
与上述火灾检测方法对应， 本申请实施例还提供了一种电子设备，如图16所示，包括处理器161、通信接口162、存储器163和通信总线164，其中，处理器161，通信接口162，存储器163通过通信总线164完成相互间的通信，
存储器163，用于存放计算机程序；
处理器161，用于执行存储器163上所存放的程序时，实现上述火灾检测方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一火灾检测方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一火灾检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种火灾检测方法，其特征在于，所述方法包括：
获取第一图像；
采用目标检测网络，对所述第一图像进行检测，得到检测为烟雾或火焰的目标对象；
在所述目标对象为所述第一图像中的前景时，确定在所述第一图像之前的连续预设数量帧图像中告警图像的总帧数，所述告警图像为所述预设数量帧图像中包括所述目标对象的图像；
若所述总帧数大于等于预设帧数阈值，则对所述目标对象进行结构相似度和动态特性判断，得到火灾检测结果；
其中，所述第一图像中所述目标对象所占区域为第一区域；
对所述目标对象进行结构相似度判断，包括：
获取第二图像，所述第二图像中与所述第一区域的位置相同的区域为第二区域；
计算所述第一区域和所述第二区域的结构相似度；
若所述结构相似度位于预设相似度区间内，则确定所述目标对象为疑似烟火；
对所述目标对象进行动态特性判断，包括：
截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图；
采用动态分类网络，对所述多个告警目标小图进行动态特性判断，得到分类结果，所述分类结果指示所述目标对象是否为疑似烟火。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
使用混合高斯模型，确定所述第一图像中的前景像素点和背景像素点，得到前景图；
统计所述目标对象在所述前景图上对应的目标区域包括的前景像素点的个数；
若统计得到的个数与所述目标区域包括的像素点总个数的比值大于预设比例阈值，则确定所述目标对象为所述第一图像中的前景。
3.根据权利要求1所述的方法，其特征在于，所述计算所述第一区域和所述第二区域的结构相似度的步骤，包括：
根据所述第一区域的亮度平均值、亮度标准差和亮度协方差，以及所述第二区域的亮度平均值、亮度标准差和亮度协方差，确定所述第一区域和所述第二区域的结构相似度。
4.根据权利要求1所述的方法，其特征在于，所述截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图的步骤，包括：
按照等间隔的方式，从所述多个告警图像中选择告警图像；
从所选择的告警图像中截取所述目标对象所占的区域，得到告警目标小图。
5.根据权利要求1所述的方法，其特征在于，在得到所述火灾检测结果之后，所述方法还包括：
当所述火灾检测结果指示所述目标对象为火焰时，采用热成像技术或红外成像技术，获取第三图像，所述第三图像中所述目标对象所占区域为第三区域；
若所述第三区域的亮度平均值大于预设亮度阈值，则输出指示所述目标对象为火焰的告警信息。
6.一种火灾检测装置，其特征在于，所述装置包括：
第一获取模块：用于获取第一图像；
检测模块：用于采用目标检测网络，对所述第一图像进行检测，得到检测为烟雾或火焰的目标对象；
第一确定模块：用于在所述目标对象为所述第一图像中的前景时，确定在所述第一图像之前的连续预设数量帧图像中告警图像的总帧数，所述告警图像为所述预设数量帧图像中包括所述目标对象的图像；
判断模块：用于若所述总帧数大于等于预设帧数阈值，则对所述目标对象进行结构相似度和动态特性判断，得到火灾检测结果；
所述第一图像中所述目标对象所占区域为第一区域；
所述判断模块，包括：
获取单元：用于获取第二图像，所述第二图像中与所述第一区域的位置相同的区域为第二区域；
计算单元：用于计算所述第一区域和所述第二区域的结构相似度；
确定单元：用于若所述结构相似度位于预设相似度区间内，则确定所述目标对象为疑似烟火；
所述判断模块，还包括：
截取单元：用于截取多个告警图像中所述目标对象所占的区域，得到多个告警目标小图；
判断单元：用于采用动态分类网络，对所述多个告警目标小图进行动态特性判断，得到分类结果，所述分类结果指示所述目标对象是否为疑似烟火。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二确定模块：用于使用混合高斯模型，确定所述第一图像中的前景像素点和背景像素点，得到前景图；
统计模块：用于统计所述目标对象在所述前景图上对应的目标区域包括的前景像素点的个数；
第三确定模块：用于若统计得到的个数与所述目标区域包括的像素点总个数的比值大于预设比例阈值，则确定所述目标对象为所述第一图像中的前景。
8.根据权利要求6所述的装置，其特征在于，所述计算单元，具体用于：
根据所述第一区域的亮度平均值、亮度标准差和亮度协方差，以及所述第二区域的亮度平均值、亮度标准差和亮度协方差，确定所述第一区域和所述第二区域的结构相似度。
9.根据权利要求6所述的装置，其特征在于，所述截取单元，具体用于：
按照等间隔的方式，从所述多个告警图像中选择告警图像；
从所选择的告警图像中截取所述目标对象所占的区域，得到告警目标小图。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二获取模块：用于在得到所述火灾检测结果之后，当所述火灾检测结果指示所述目标对象为火焰时，采用热成像技术或红外成像技术，获取第三图像，所述第三图像中所述目标对象所占区域为第三区域；
输出模块：用于若所述第三区域的亮度平均值大于预设亮度阈值，则输出指示所述目标对象为火焰的告警信息。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法。
CN202310395650.XA 2023-04-14 2023-04-14 一种火灾检测方法、装置、电子设备及存储介质 Active CN116152667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395650.XA CN116152667B (zh) 2023-04-14 2023-04-14 一种火灾检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395650.XA CN116152667B (zh) 2023-04-14 2023-04-14 一种火灾检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116152667A CN116152667A (zh) 2023-05-23
CN116152667B true CN116152667B (zh) 2023-06-30

Family

ID=86354603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395650.XA Active CN116152667B (zh) 2023-04-14 2023-04-14 一种火灾检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116152667B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770644A (zh) * 2010-01-19 2010-07-07 浙江林学院 森林火灾远程视频监控烟火识别方法
CN103473788A (zh) * 2013-07-31 2013-12-25 中国电子科技集团公司第三十八研究所 一种基于高清视频图像的室内火灾火焰检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236947B (zh) * 2010-04-29 2012-08-29 中国建筑科学研究院 基于视频摄像机的火焰监测方法与***
CN106997461B (zh) * 2017-03-28 2019-09-17 浙江大华技术股份有限公司 一种烟火检测方法及装置
CN107633212A (zh) * 2017-08-30 2018-01-26 清华大学苏州汽车研究院（吴江） 一种基于视频图像的烟火检测方法和装置
CN108830161B (zh) * 2018-05-18 2021-04-20 武汉倍特威视***有限公司 基于视频流数据的烟雾识别方法
CN109086647B (zh) * 2018-05-24 2022-01-07 苏州飞搜科技有限公司 烟雾检测方法及设备
CN110276284A (zh) * 2019-06-11 2019-09-24 暨南大学 基于视频质量评估的火焰识别方法、装置、设备及存储介质
CN110807377B (zh) * 2019-10-17 2022-08-09 浙江大华技术股份有限公司 目标跟踪和入侵检测方法、装置、及存储介质
CN111310662B (zh) * 2020-02-17 2021-08-31 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及***
CN113096103A (zh) * 2021-04-15 2021-07-09 北京工业大学 一种面向放空火炬的烟气智能影像感知方法
CN113657233A (zh) * 2021-08-10 2021-11-16 东华大学 一种基于计算机视觉的无人机森林火灾烟雾探测方法
CN113657250A (zh) * 2021-08-16 2021-11-16 南京图菱视频科技有限公司 一种基于监控视频的火焰检测方法及***
CN115063718B (zh) * 2022-06-10 2023-08-29 嘉洋智慧安全科技(北京)股份有限公司 火灾检测方法、装置、设备及存储介质
CN115410134A (zh) * 2022-09-30 2022-11-29 西安工程大学 一种基于改进YOLOv5s的视频火灾烟雾检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770644A (zh) * 2010-01-19 2010-07-07 浙江林学院 森林火灾远程视频监控烟火识别方法
CN103473788A (zh) * 2013-07-31 2013-12-25 中国电子科技集团公司第三十八研究所 一种基于高清视频图像的室内火灾火焰检测方法

Also Published As

Publication number Publication date
CN116152667A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和***
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置
CN112560657B (zh) 烟火识别方法、装置、计算机设备和存储介质
Çetin et al. Video fire detection–review
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
Zhao et al. SVM based forest fire detection using static and dynamic features
US7868772B2 (en) Flame detecting method and device
JP5218906B2 (ja) 煙検出装置及び煙検出方法
Manfredi et al. Detection of static groups and crowds gathered in open spaces by texture classification
Pundir et al. Deep belief network for smoke detection
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
KR20130032856A (ko) 영상 감시 장치 및 영상 감시 방법
CN110619277A (zh) 一种多社区智慧布控方法以及***
Lim et al. Gun detection in surveillance videos using deep neural networks
Gunawaardena et al. Computer vision based fire alarming system
CN111079518A (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN111797726A (zh) 一种火焰检测方法、装置、电子设备及存储介质
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质
CN112651398A (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
CN114885119A (zh) 一种基于计算机视觉的智能监控报警***及方法
CN112800846A (zh) 高空抛物的监测方法、装置、电子设备及存储介质
CN103903020A (zh) 一种基于CodeBook的火灾图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant