CN114972732A - 一种烟火检测方法、装置、设备及计算机可读存储介质 - Google Patents

一种烟火检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114972732A
CN114972732A CN202210534499.9A CN202210534499A CN114972732A CN 114972732 A CN114972732 A CN 114972732A CN 202210534499 A CN202210534499 A CN 202210534499A CN 114972732 A CN114972732 A CN 114972732A
Authority
CN
China
Prior art keywords
image
detected
smoke
prediction frame
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210534499.9A
Other languages
English (en)
Inventor
林家辉
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aishen Yingtong Information Technology Co Ltd
Original Assignee
Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aishen Yingtong Information Technology Co Ltd filed Critical Shenzhen Aishen Yingtong Information Technology Co Ltd
Priority to CN202210534499.9A priority Critical patent/CN114972732A/zh
Publication of CN114972732A publication Critical patent/CN114972732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本申请涉及一种烟火检测方法、装置、设备及计算机可读存储介质，属于图像识别技术领域，包括获取待检测图像；将所述待检测图像输入至目标检测模型，并基于所述目标检测模型输出待检测图像的预测框信息；其中，所述目标检测模型包括普通卷积模块、可变卷积模块、特征融合模块以及后处理模块，所述预测框信息包括目标类别、置信度以及所述预测框在所述待检测图像内的位置信息；根据所述预测框信息对所述待检测图像中的烟火区域进行标记，得到已标记图像；将可变卷积模块利用到目标检测模型中，便于目标检测模型训练出与烟火实际形状相匹配的卷积核形态，对烟火的检测更加准确；本申请具有便于对烟火目标进行检测的效果。

Description

一种烟火检测方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种烟火检测方法、装置、设备及计算机可读存储介质。
背景技术
烟火检测主要用来检测烟火、预防火灾，便于人们及时得知火灾信息，以便及时对火灾进行控制、处理。目前，基于视频的烟火检测方法，大多先采用帧间差分法、背景建模法等检测出候选运动区域，再对候选运动区域提取颜色、纹理等特征，用分类器判定候选运动区域是否是烟火，当发生烟火的距离比较远时，由于视频上烟火的像素比较小无法进行判断，从而引起漏报的现象。目标检测，是一种基于目标几何和统计特征的图像分割，其准确性和实时性是整个***的一项重要能力，尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要；若将目标检测的方法应用到烟火检测中，针对复杂场景，利用目标检测往往有较好的检测效果。
在实现本申请过程中，发明人发现至少存在如下问题：目标检测往往依赖基于特征提取的边界框，采用目标检测对烟火进行检测时，不能很好的适应烟火的实际形态，导致利用目标检测的方法对烟火等不规则目标的检测效果不够理想。
发明内容
为了便于对烟火目标进行检测，本申请提供了一种烟火检测方法、装置、设备及计算机可读存储介质。
第一方面，本申请提供的一种烟火检测方法采用如下的技术方案：
一种烟火检测方法，包括，
获取待检测图像；
将所述待检测图像输入至目标检测模型，生成待检测图像的预测框信息；其中，所述目标检测模型包括普通卷积模块、可变卷积模块、特征融合模块以及后处理模块；
根据所述预测框信息对所述待检测图像中的烟火区域进行标记，得到已标记图像。
通过采用上述技术方案，将获取到的待检测图像输入至目标检测模型中，目标检测模型输出预测框信息，由于将可变卷积模块应用至标检测模型中，在对目标检测模型进行训练时，能够训练出动态的卷积核，使得卷积核的形态不局限在矩形，即目标检测模型的检测范围能够更加贴合烟火的实际形状，再根据预测框信息对待检测图像中的烟火区域进行标记，得到已标记图像，从而实现了便于对烟火进行检测的效果。
可选的，所述根据所述预测框信息对所述待检测图像中的烟火区域进行标记的步骤，具体包括：
根据预设切分重叠度将待检测图像切分为多张子图；其中，所述预设切分重叠度是切分后相邻子图的重叠度；
将多张所述子图分别输入至所述目标检测模型中，生成多个子图预测框信息；
基于所述待检测图像的预测框信息，获得所述待检测图像的目标类别和置信度；
基于多个子图预测框信息，分别获得所述多个子图对应的目标类别和置信度；
判断任一子图的目标类别是否与所述待检测图像的目标类别一致，若是，判断所述目标类别一致的子图的置信度和所述待检测图像的置信度是否均大于预设置信度，若是，则根据所述待检测图像的预测框信息对所述待检测图像中的烟火区域进行标记。
通过采用上述技术方案，利用对待检测图像切分的方式，在经过子图放大后拥有更显著的特征，从而在子图检测中能够得到更加准确的检测结果，先通过对目标类别的判断，判断子图的目标类别和检测图像的目标类别是否相同，若相同，再比较目标类别相同的子图的置信度与预设置信度，以及待检测图像的置信度与预设置信度，若均大于预设置信度，则认为预测框信息是准确的，此时，根据相应的预测框信息对待检测图像中的烟火区域进行标记，实现了显示出标记的烟火区域较为准确的效果。
可选的，所述目标类别一致的子图的置信度和所述待检测图像的置信度均大于预设置信度的步骤之后，还包括：
基于所述待检测图像的预测框信息和所述目标类别一致的子图预测框信息，得到所述待检测图像的预测框与所述目标类别一致的子图的预测框的区域重叠度；
判断所述区域重叠度是否大于预设区域重叠度，若是，则根据所述待检测图像的预测框信息对所述待检测图像中的烟火区域进行标记。
通过采用上述技术方案，在对置信度进行判断之后，再判断待检测图像预测框和子图预测框的区域重叠度是否大于预设的区域重叠度，便于检测出待检测图像和子图中的框边是否为同一区域，若区域重叠度大于预设的区域重叠度，则判定为待检测图像和子图中的框边为同一区域，则说明待检测图像中检测的局域和子图中检测的区域相同，此时再对待检测图像中的烟火区域进行标记，提高了显示出的预测框信息的准确性。
可选的，所述普通卷积模块，用于对输入的待检测图像进行初步普通卷积，并输出初始特征图；
所述可变卷积模块，用于对输入的初始特征图进行处理，并输出动态特征图；
所述特征融合模块，用于对初始特征图以及动态特征图进行融合，并提取检测特征；
所述后处理模块，用于对检测特征进行处理，处理完成后输出预测框信息。
通过采用上述技术方案，利用普通卷积模块对输入图像进行初步普通卷积处理，生成初始特征图，再利用可变卷积模块，对初始特征图进行进一步的处理，由于可变形卷积的卷积核相比于普通卷积核，新增了方向向量，所以使得可变形卷积的卷积核能够更加贴近待检测目标，从而便于生成更加贴近火焰和烟雾形状的动态特征图；再利用特征融合模块将提取的特征进行融合，提取检测特征，最后利用后处理模块对检测特征进行处理，得到预测框信息，实现了便于对不规则形状的火焰以及烟雾进行检测。
可选的，所述可变卷积模块，具体包括，
通道切分层，用于对所述初始特征图进行通道切分；
第一卷积层，利用第一卷积操作对通道切分后的初始特征图进行处理，并输出第一特征图；
通道注意力单元，用于对第一特征图像进行通道注意力机制处理，并进行通道融合，输出第二特征图；
第二卷积层，利用第二卷积操作对第二特征图以及通道切分后的初始特征图进行处理，并输出第三特征图；
可变形卷积层，用于对第三特征图进行可变形卷积，并输出动态特征图。
通过采用上述技术方案，对初始特征图进行通道切分，将初始特征图切分成多个通道，并对初始特征图与卷积核进行第一卷积操作，从而得到第一特征图，利用通道注意力单元，将第一特征图中的多个通道均赋予权重值，重要程度越高则权重值越大，从而便于提取出重要程度高的第二特征图，再对第二特征图以及初始特征图进行第二卷积操作，随后进行可变形卷积层的处理，通过可变形卷积层使得卷积核的形态更加贴合实际火焰和烟雾的形状，得到动态特征图，从而实现了检测不规则火焰和烟雾的效果更好。
可选的，所述第一卷积操作，具体包括，
依次对初始特征图进行第一深度可分离卷积和第二深度可分离卷积；
将第一深度可分离卷积的结果与第二深度可分离卷积的结果进行通道融合；
其中，第一深度可分离卷积是1x1深度可分离卷积，第二深度可分离卷积是3x3深度可分离卷积、5x5深度可分离卷积或7x7深度可分离卷积。
通过采用上述技术方案，先利用第一深度可分离卷积对初始特征图的通道数进行调整，将初始特征图的通道数调整至卷积核的输入通道数，再对调整后的初始特征图第二深度可分离卷积，提取初始特征图中的特征，将第一深度可分离卷积的结果与第二深度可分离卷积的结果进行通道融合，通道融合后即生成第一特征图。
可选的，所述第二卷积操作，具体包括，
对第二特征图以及通道切分后的初始特征图进行1x1深度可分离卷积，并进行通道打乱。
通过采用上述技术方案，通过通道打乱操作，使得特征图中不同通道的信息得到流通，更利于特征的表达，从而便于后续对特征进行提取，以达到较好的烟火检测效果。
第二方面，本申请提供的一种烟火检测装置采用如下的技术方案：
一种烟火检测装置，包括图像获取单元、目标检测单元以及预测框标记单元；
所述图像获取单元，用于获取待检测图像；
所述目标检测单元，将所述待检测图像输入至目标检测模型中，生成预测框信息；
所述预测框标记单元，用于根据所述预测框信息对所述待检测图像中的烟火区域进行标记，得到已标记图像。
通过采用上述技术方案，利用图像获取单元获取待检测图像，再将待检测图像输入目标检测模型中，由目标检测模型输出预测框信息，再利用预测框标记单元对预测框信息进行标注，从而实现了对烟火目标检测的效果。
第三方面，本申请提供的一种计算机设备采用如下的技术方案：
一种计算机设备，包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如第一方面所述的一种烟火检测方法。
第四方面，本申请提供的一种计算机可读存储介质采用如下的技术方案：
一种计算机可读存储介质，包括存储有能够被处理器加载并执行第一方面中任一种方法的计算机程序。
附图说明
图1是本申请其中一实施例烟火检测方法的流程示意图。
图2是本申请其中一实施用于展示标记预测框信息的第一流程示意图。
图3是本申请其中一实施用于展示标记预测框信息的第二流程示意图。
图4是本申请其中一实施例目标检测模型的结构框图。
图5是本申请其中一实施例可变卷积模块的结构框图。
图6是本申请其中一实施例可变卷积模块的流程框图。
图7是本申请其中一实施例检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-7及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例公开一种烟火检测方法。
参照图1，一种烟火检测方法，包括：
步骤S101，获取待检测图像；
其中，待检测图像可从图像获取设备中实时获取，也可以从图像获取设备的储存模块中获取；图像获取设备可以安装在火灾频发的室外环境中，也可以安装在室内，例如，居民住宅、商场、养殖场等。
步骤S102，将待检测图像输入至目标检测模型，生成待检测图像的预测框信息；
其中，目标检测模型包括普通卷积模块、可变卷积模块、特征融合模块以及后处理模块；预测框信息包括目标类别、置信度以及预测框的位置信息，并且同一待检测图像中可包含零个、一个或多个预测框信息。
具体地，预测框的位置信息可以是框边的左上角坐标（a,b）以及框边的右下角坐标（c,d），由于框边为矩形框，可以得出框边左下角坐标为（a,d），框边右上角坐标为（c,b），由上述四个坐标即可以准确的得出预测框的框边范围；预测框的位置信息也可以是预测框中心坐标（x,y）、框边的宽w以及框边的高h，同样能够准确地得出预测框的框边范围。
步骤S103，根据预测框信息对待检测图像中的烟火区域进行标记，得到已标记图像。
其中，根据预测框信息的预测框位置信息，确定预测框在待检测图像中的位置，预测框信息的目标类别表示预测框范围内检测目标的类别，例如：烟雾、火焰等，预测框信息的置信度表示预测框内包含检测目标的置信度，即预测框的准确度。
上述实施方式中，将可变形卷积运用到了目标检测模型中，与普通卷积相比，增加了调整卷积核的方向向量，在对目标检测模型进行训练时，能够训练出动态的卷积核，但普通的卷积核通常是固定尺寸、固定大小的，例如3x3，5x5等，即普通卷积核为规则矩形，对于待检测区域为不规则形状时，不能作出适应性改变，所以利用可变形卷积的卷积核能够更加贴烟雾和火焰的实际形状，从而实现了对烟火检测更加准确的效果。
需要说明的是，目标检测模型的检测目标不仅局限于烟雾与火焰的检测，利用不同的样本图像的训练集，对目标检测模型进行训练，目标检测模型同样能够实现对其他目标的识别；即对烟火检测时，目标检测模型的训练集中需要包含有火焰以及烟雾，训练完成后的目标检测模型具有检测烟雾以及火焰的效果；同理，若样本图像的训练集中包含有云朵，则训练完成后的目标检测模型具有检测云朵的效果。
参照图2，根据预测框信息对待检测图像中的烟火区域进行标记的步骤，具体包括：
步骤S201，根据预设切分重叠度将待检测图像切分为多张子图；
其中，预设切分重叠度为切分后相邻子图的重叠度；具体地，切分子图的数量由原图的大小和实际部署情况而定，可以切分为4张子图，也可以切分为9张子图或其他数量；切分重叠度可以预设为0.2或0.3或其他值，根据实际情况而定。
根据预设切分重叠度对子图进行切分，从一定程度上避免了将一个完整的检测目标切分在两张或多张子图上，通过相邻子图重叠切分的方式增大了保留完整检测目标的可能性。
步骤S202，将多张子图分别输入至目标检测模型中，生成多个子图预测框信息。
其中，子图预测框信息包括目标类别、置信度以及预测框的位置信息，且每张子图中都可能存在多个预测框。
步骤S203，基于待检测图像的预测框信息，获得待检测图像的目标类别和置信度。
步骤S204，基于多个子图预测框信息，分别得到多个子图对应的目标类别和置信度。
步骤S205，判断任一子图的目标类别是否与待检测图像的目标类别一致，若是，则执行步骤206，若否，则不执行操作；
步骤S206，判断目标类别一致的子图的置信度和待检测图像的置信度是否均大于预设置信度，若是，则执行步骤207，若否，则不执行操作。
其中，预设置信度可设置为0.4或0.5或其他值，预设置信度设置的过小，则可能无法有效过滤掉无关的预测框信息，预设置信度设置的过大，可能会出现检测目标漏检的可能性，所以需要根据实际部署情况和工作人员的历史经验确定预设置信度。
步骤S207，根据待检测图像的预测框信息对待检测图像中的烟火区域进行标记。
上述实施方式中，通过对待检测图像切分的方式，在经过子图放大后拥有更显著的特征，从而在子图检测中能够得到较为准确的检测结果，再将子图预测框信息和待检测图像的预测框信息进行比较，先通过对目标类别的判断，判断子图的目标类别和待检测图像的目标类别是否相同，若相同，则说明目标类别的检测准确；再将子图的置信度和待检测图像的置信度与预设置信度进行比较，若均大于预设置信度，则说明置信度的检测准确，此时再根据待检测图像的预测框信息对待检测图像中的相应烟火区域进行标记，提高了预测框信息标记在待检测图像中的准确性。
参照图3，根据预测框信息对待检测图像中的烟火区域进行标记的步骤，还包括：
步骤S301，基于待检测图像的预测框信息和目标类别一致的子图预测框信息，得到待检测图像的预测框与目标类别一致的子图的预测框的区域重叠度。
其中，区域重叠度IOU=𝑎𝑟𝑒𝑎(𝐶)∩𝑎𝑟𝑒𝑎(𝐺)𝑎𝑟𝑒𝑎(𝐶)∪𝑎𝑟𝑒𝑎(𝐺)； 𝑎𝑟𝑒𝑎(𝐶)为待检测图像的预测框区域，𝑎𝑟𝑒𝑎(𝐺)为目标类别一致的预测框区域。
步骤S302，判断区域重叠度是否大于预设区域重叠度，若是，则执行上述步骤S303，若否，则不执行操作。
步骤S303，根据待检测图像的预测框信息对待检测图像中的烟火区域进行标记。
其中，区域重叠度设定为0.5或0.6或其他值，根据工作人员的历史经验而设定，区域重叠度越大则说明子图预测框和待检测图像预测框的重叠度越高，即子图预测框与待检测图像的预测框为同一区域的部分面积越大。
上述实施方式中，在对待检测图像的置信度和子图的置信度进行判断之后，再判断待检测图像的预测框和子图的预测框的区域重叠度是否大于预设的区域重叠度，便于检测出待检测图像和子图中的框边是否为同一区域，若区域重叠度大于预设的区域重叠度，则判定为待检测图像和子图中的框边为同一区域，则说明待检测图像中检测的局域和子图中检测的区域相同，此时再对根据预测框信息对待检测图像进行标记，提高了标记预测框信息的准确性。
需要说明的是，如果在待检测图像和子图的置信度均大于预设置信度时，就进行预测框信息的标注，可能出现待检测图像检测区域和子图检测区域不是同一区域，例如，待检测图像预测框在左上角，而子图预测框在右下角，此时虽然待检测图像和子图的置信度均大于预设置信度，但检测区域不同，仅通过置信度判断预测框信息仍存在不够准确的问题；继续判断区域重叠度，确保在置信度满足条件的情况下，子图和待检测图像的预测框为同一区域，再将预测框信息标记在待检测图像上，从一定程度上避免了目标类别和置信度满足条件的情况下，预测框检测的区域不同的情况出现。
参照图4，作为目标检测模型的进一步实施方式，普通卷积模块，用于对输入的待检测图像进行初步普通卷积，并输出初始特征图。
可变卷积模块，用于对输入的初始特征图进行处理，并输出动态特征图。
特征融合模块，用于对初始特征图以及动态特征图进行融合，并提取检测特征。
后处理模块，用于对检测特征进行处理，处理完成后输出预测框信息。
上述实施方式中，利用普通卷积模块对输入图像进行初步普通卷积处理，生成初始特征图，再利用可变卷积模块，对初始特征图进行进一步的处理，由于可变形卷积的卷积核相比于普通卷积核，新增了方向向量，所以使得可变形卷积的卷积核能够更加贴近待检测目标，从而便于生成更加贴近火焰和烟雾形状的动态特征图；再利用特征融合模块将提取的特征进行融合，提取检测特征，最后利用后处理模块对检测特征进行处理，得到预测框信息，实现了便于对不规则形状的火焰以及烟雾进行检测。
参照图5，作为可变卷积处理层的一种实施方式，可变卷积模块，具体包括，
通道切分层，用于对初始特征图进行通道切分。
第一卷积层，利用第一卷积操作对通道切分后的初始特征图进行处理，并输出第一特征图。
通道注意力单元，用于对第一特征图像进行通道注意力机制处理，并进行通道融合，输出第二特征图。
第二卷积层，利用第二卷积操作对第二特征图以及通道切分后的初始特征图进行处理，并输出第三特征图。
可变形卷积层，用于对第三特征图进行可变形卷积，并输出动态特征图。
其中，在第一卷积操作、第二卷积操作以及可变形卷积操作中，均需要满足对应特征图的通道数等于卷积核的输入通道数。
上述实施方式中，对初始特征图进行通道切分，将初始特征图切分成多个通道，并对初始特征图与卷积核进行第一卷积操作，从而得到第一特征图，利用通道注意力单元，将第一特征图中的多个通道均赋予权重值，重要程度越高则权重值越大，从而便于提取出重要程度高的第二特征图，再对第二特征图以及初始特征图进行第二卷积操作，随后进行可变形卷积层的处理，通过可变形卷积层使得卷积核的形态更加贴合实际火焰和烟雾的形状，得到动态特征图，动态特征图是区特征区域为不规则形状的特征图，从而实现了检测不规则火焰和烟雾的效果较好。
参照图5、6，作为第一卷积操作的一种实施方式，第一卷积操作，具体包括，
依次对初始特征图进行第一深度可分离卷积和第二深度可分离卷积。
将第一深度可分离卷积的结果与第二深度可分离卷积的结果进行通道融合。
其中，第一深度可分离卷积是1x1深度可分离卷积，第二深度可分离卷积是3x3深度可分离卷积、5x5深度可分离卷积或7x7深度可分离卷积。
上述实施方式中，先利用1x1深度可分离卷积对初始特征图的通道数进行调整，将初始特征图的通道数调整至卷积核的输入通道数，再对调整后的初始特征图进行3x3深度可分离卷积处理或5x5深度可分离卷积处理或7x7深度可分离卷积处理，提取初始特征图中的特征，通道融合后即生成第一特征图。
参照图5、6，作为第二卷积操作的一种实施方式，第二卷积操作，具体包括，
对第二特征图以及通道切分后的初始特征图进行1x1深度可分离卷积，并进行通道打乱。
上述实施方式中，通过通道打乱操作，使得特征图中不同通道的信息得到流通，更利于特征的表达，从而便于后续对特征进行提取，以达到较好的烟火检测效果。
本申请实施例还公开一种烟火检测装置。
参照图7，一种烟火检测装置，包括图像获取单元、目标检测单元以及预测框标记单元；
图像获取单元，用于获取待检测图像；
目标检测单元，将待检测图像输入至目标检测模型中，生成预测框信息；
预测框标记单元，用于根据预测框信息对待检测图像中的烟火区域进行标记，得到已标记图像。
上述实施方式中，利用图像获取单元获取待检测图像，再将待检测图像输入目标检测模型中，由目标检测模型输出预测框信息，再利用预测框标记单元将预测框信息标记在待检测图像上，从而实现了对烟火目标检测的效果。
本发明实施例的一种烟火检测装置能够实现上述检测方法的任一种方法，且一种烟火检测装置的具体工作过程可参考上述检测方法实施例中的对应过程。
在本发明所提供的几个实施例中，应该理解到，所提供的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的连接或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电性、机械或其它的形式的连接。
本申请实施例还公开一种计算机设备。
一种计算机设备，包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序，处理器执行如上述的一种烟火检测方法。
本申请实施例还公开一种计算机可读存储介质。
一种计算机可读存储介质，包括存储有能够被处理器加载并执行第一方面中任一种方法的计算机程序。
其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种烟火检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至目标检测模型，生成待检测图像的预测框信息；其中，所述目标检测模型包括普通卷积模块、可变卷积模块、特征融合模块以及后处理模块；
根据所述预测框信息对所述待检测图像中的烟火区域进行标记，得到已标记图像。
2.根据权利要求1所述的一种烟火检测方法，其特征在于，所述根据所述预测框信息对所述待检测图像中的烟火区域进行标记的步骤，具体包括：
根据预设切分重叠度将待检测图像切分为多张子图；其中，所述预设切分重叠度是切分后相邻子图的重叠度；
将多张所述子图分别输入至所述目标检测模型中，生成多个子图预测框信息；
基于所述待检测图像的预测框信息，获得所述待检测图像的目标类别和置信度；
基于多个子图预测框信息，分别获得所述多个子图对应的目标类别和置信度；
判断任一子图的目标类别是否与所述待检测图像的目标类别一致，若是，判断所述目标类别一致的子图的置信度和所述待检测图像的置信度是否均大于预设置信度，若是，则根据所述待检测图像的预测框信息对所述待检测图像中的烟火区域进行标记。
3.根据权利要求2所述的一种烟火检测方法，其特征在于，所述根据所述待检测图像的预测框信息对所述待检测图像中的烟火区域进行标记的步骤，还包括：
基于所述待检测图像的预测框信息和所述目标类别一致的子图预测框信息，得到所述待检测图像的预测框与所述目标类别一致的子图的预测框的区域重叠度；
判断所述区域重叠度是否大于预设区域重叠度，若是，则根据所述待检测图像的预测框信息对所述待检测图像中的烟火区域进行标记。
4.根据权利要求1所述的一种烟火检测方法，其特征在于：
所述普通卷积模块，用于对输入的待检测图像进行初步普通卷积，并输出初始特征图；
所述可变卷积模块，用于对输入的初始特征图进行处理，并输出动态特征图；
所述特征融合模块，用于对初始特征图以及动态特征图进行融合，并提取检测特征；
所述后处理模块，用于对检测特征进行处理，处理完成后输出预测框信息。
5.根据权利要求4所述的一种烟火检测方法，其特征在于：所述可变卷积模块，具体包括，
通道切分层，用于对所述初始特征图进行通道切分；
第一卷积层，利用第一卷积操作对通道切分后的初始特征图进行处理，并输出第一特征图；
通道注意力单元，用于对第一特征图像进行通道注意力机制处理，并进行通道融合，输出第二特征图；
第二卷积层，利用第二卷积操作对第二特征图以及通道切分后的初始特征图进行处理，并输出第三特征图；
可变形卷积层，用于对第三特征图进行可变形卷积，并输出动态特征图。
6.根据权利要求5所述的一种烟火检测方法，其特征在于，所述第一卷积操作，具体包括：
依次对初始特征图进行第一深度可分离卷积和第二深度可分离卷积；
将第一深度可分离卷积的结果与第二深度可分离卷积的结果进行通道融合；
其中，第一深度可分离卷积是1x1深度可分离卷积，第二深度可分离卷积是3x3深度可分离卷积、5x5深度可分离卷积或7x7深度可分离卷积。
7.根据权利要求5所述的一种烟火检测方法，其特征在于，所述第二卷积操作，具体包括：
对第二特征图以及通道切分后的初始特征图进行1x1深度可分离卷积，并进行通道打乱。
8.一种烟火检测装置，其特征在于：包括图像获取单元、目标检测单元以及预测框标记单元；
所述图像获取单元，用于获取待检测图像；
所述目标检测单元，将所述待检测图像输入至目标检测模型中，生成预测框信息；
所述预测框标记单元，用于根据所述预测框信息对所述待检测图像中的烟火区域进行标记，得到已标记图像。
9.一种计算机设备，其特征在于：包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如权利1-7中任一所述的一种烟火检测方法。
10.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
CN202210534499.9A 2022-05-17 2022-05-17 一种烟火检测方法、装置、设备及计算机可读存储介质 Pending CN114972732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210534499.9A CN114972732A (zh) 2022-05-17 2022-05-17 一种烟火检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210534499.9A CN114972732A (zh) 2022-05-17 2022-05-17 一种烟火检测方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114972732A true CN114972732A (zh) 2022-08-30

Family

ID=82984223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210534499.9A Pending CN114972732A (zh) 2022-05-17 2022-05-17 一种烟火检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114972732A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977634A (zh) * 2023-07-17 2023-10-31 应急管理部沈阳消防研究所 基于激光雷达点云背景减除的火灾烟雾检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977634A (zh) * 2023-07-17 2023-10-31 应急管理部沈阳消防研究所 基于激光雷达点云背景减除的火灾烟雾检测方法
CN116977634B (zh) * 2023-07-17 2024-01-23 应急管理部沈阳消防研究所 基于激光雷达点云背景减除的火灾烟雾检测方法

Similar Documents

Publication Publication Date Title
CN109886130B (zh) 目标对象的确定方法、装置、存储介质和处理器
US10762376B2 (en) Method and apparatus for detecting text
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
KR102406804B1 (ko) 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템
US20210174539A1 (en) A method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN111222478A (zh) 一种工地安全防护检测方法和***
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
EP3493157B1 (en) Method and system for visual change detection using multi-scale analysis
CN111738206A (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN111368682A (zh) 一种基于faster RCNN台标检测与识别的方法及***
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN113283408A (zh) 基于监控视频的社交距离监测方法、装置、设备和介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN114972732A (zh) 一种烟火检测方法、装置、设备及计算机可读存储介质
CN114419739A (zh) 行为识别模型的训练方法、行为识别方法及设备
CN115205793B (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN113538351B (zh) 一种融合多参数电信号的外绝缘设备缺陷程度评估方法
KR102597692B1 (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
JP2019066909A (ja) 物体分布推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination