CN117333808B - 一种面向轻量化部署的建筑物火灾识别方法及*** - Google Patents

一种面向轻量化部署的建筑物火灾识别方法及*** Download PDF

Info

Publication number
CN117333808B
CN117333808B CN202311185429.8A CN202311185429A CN117333808B CN 117333808 B CN117333808 B CN 117333808B CN 202311185429 A CN202311185429 A CN 202311185429A CN 117333808 B CN117333808 B CN 117333808B
Authority
CN
China
Prior art keywords
convolution
layer
fire
feature extraction
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311185429.8A
Other languages
English (en)
Other versions
CN117333808A (zh
Inventor
谢卫徐
廖伟东
徐锦滔
罗嘉瑞
林祥麒
陈栩聪
蔡泽民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou Chenghai District Architectural Design Institute
Shantou University
Original Assignee
Shantou Chenghai District Architectural Design Institute
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou Chenghai District Architectural Design Institute, Shantou University filed Critical Shantou Chenghai District Architectural Design Institute
Priority to CN202311185429.8A priority Critical patent/CN117333808B/zh
Publication of CN117333808A publication Critical patent/CN117333808A/zh
Application granted granted Critical
Publication of CN117333808B publication Critical patent/CN117333808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明应用于火灾检测技术领域，公开了一种面向轻量化部署的建筑物火灾识别方法及***，方法包括：利用改进神经网络模型对待测建筑物的环境图像进行火灾检测，得到火灾检测信息；根据待测建筑物的环境信息和火灾检测信息生成火灾检测结果；模型包括主干网络、中间网络和预测模块，主干网络对环境图像进行特征提取以得到待测特征图和第二特征图，中间网络对待测特征图进行特征增强，根据增强的待测特征图和第二特征图生成目标候选区域；预测模块根据目标候选区域输出火灾检测信息。本发明实现了轻量化部署，降低了检测成本，提高了模型对小目标物体检测的敏感度，能够在遮挡和重叠目标的复杂场景下实现火灾检测，提高火灾检测精度和效率。

Description

一种面向轻量化部署的建筑物火灾识别方法及***
技术领域
本发明涉及火灾检测技术领域，特别涉及一种面向轻量化部署的建筑物火灾识别方法及***。
背景技术
发生在建筑物中的火灾不仅严重威胁着人类的生命安全，还给社会带来了巨大的财产损失。因此，对建筑物进行早期的火灾预测和预警对于建筑物的火灾防范具有极其重要的意义。传统的火灾检测技术通常通过环境物理量结合火焰的物理特征数据或图像处理技术来实现火灾的预测和预警。随着深度学习与神经网络技术的快速发展，神经网络模型融合于火灾检测技术当中，实现智能化火灾检测和预警。相关技术存在如下问题：
其一，这些新提出的智能火灾检测方案大多适用于企业、工业或如深林放火等专业场景的高端需求，而在面对普通家庭、小型民用和商用等普通的火灾检测需求场景时，现有的火灾检测方案存在成本高、安装使用较为繁琐、技术过时或者智能程度偏低等问题，其并不适用于普通的火灾检测需求场景。
其二，这些智能火灾检测方案通常采用如MRCNN、Faster R-CNN等基于区域建议的目标检测算法或者如YOLO系列、SSD等基于回归的目标检测算法来实现火灾的智能检测。然而，虽然现有的目标检测算法能够在一定程度上提高火灾检测的效率和精度，但是现有的目标检测算法不仅对遮挡或者重叠的目标检测的效果差，而且对小目标的目标检测不够敏感，算法的灵活性和稳定性不足，进而导致实际应用时算法的目标检测精度难以达到预期，检测精度有待进一步地提高。此外，现有的目标检测算法的模型参数量较大，部署成本大，并不适用于普通的火灾检测需求场景，无法实现轻量化部署的效果。
发明内容
本发明的目的是提供一种面向轻量化部署的建筑物火灾识别方法及***，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明解决其技术问题的解决方案是：第一方面，本申请提供一种面向轻量化部署的建筑物火灾识别方法，包括如下步骤：
采集待测建筑物的环境图像；
利用改进神经网络模型对所述环境图像进行火灾检测，得到火灾检测信息；
采集待测建筑物的环境信息，根据环境信息和火灾检测信息，生成火灾检测结果；
其中，所述改进神经网络模型利用已标记的环境样本图像及其对应的标记结果训练得到，所述改进神经网络模型包括顺次连接的输入层、主干网络、中间网络和预测模块，所述输入层用于修改所述环境图像的像素尺寸；所述主干网络用于对所述环境图像进行特征提取，得到待测特征图和第二特征图；所述中间网络用于对所述待测特征图进行特征增强，并根据特征增强后的所述待测特征图和所述第二特征图，生成目标候选区域；所述预测模块用于根据所述目标候选区域，计算得到所述环境图像中存在火灾的最大概率，并根据所述最大概率输出所述环境图像的火灾检测信息。
第二方面，本申请提供一种面向轻量化部署的建筑物火灾识别***，包括：
图像采集模块，用于采集待测建筑物的环境图像；
火灾检测模块，用于利用改进神经网络模型对所述环境图像进行火灾检测，得到火灾检测信息；
传感器模块，用于采集待测建筑物的环境信息；
信息运算模块，用于根据环境信息和火灾检测信息，生成火灾检测结果；
其中，所述改进神经网络模型利用已标记的环境样本图像及其对应的标记结果训练得到，所述改进神经网络模型包括顺次连接的输入层、主干网络、中间网络和预测模块，
所述输入层用于修改所述环境图像的像素尺寸；
所述主干网络用于对所述环境图像进行特征提取，得到待测特征图和第二特征图；
所述中间网络用于对所述待测特征图进行特征增强，并根据特征增强后的所述待测特征图和所述第二特征图，生成目标候选区域；
所述预测模块用于根据所述目标候选区域，计算得到所述环境图像中存在火灾的最大概率，并根据所述最大概率输出所述环境图像的火灾检测信息。
本发明的有益效果是：提供一种面向轻量化部署的建筑物火灾识别方法及***，适用于如家庭等普通火灾检测需求场景，不仅实现了轻量化部署，降低了火灾检测的成本，解决了由于内存占用大、运算复杂度高以及在终端设备上硬件限制等问题导致难以在终端部署的问题，还在保证轻量化的前提下，引入了多尺度卷积以及通道混洗的操作，提取了更丰富的底层特征，并对这些特征进行充分混合，弥补了分组卷积缺少信息交互的问题，在解决了对小目标物体检测不够敏感以及遮挡和重叠目标处理的问题的同时，在火灾目标检测任务上能够达到更好的效果，提高火灾检测的效率；此外，本发明采用数据综合判断策略，将识别结果数据和传感器数据进行综合判断，能够提高火灾检测整体方案的检测精度和效率，具有高可用性、先进性和可行性。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请提供的面向轻量化部署的建筑物火灾识别方法的流程图；
图2为本申请提供的改进神经网络模型的结构图；
图3为本申请提供的特征提取模块的结构图；
图4为本申请提供的通道混洗的示意图；
图5为本申请提供的YOLOv4-Tiny、YOLOv4-TINY-ShuffleNet以及本申请的模型的目标检测效果图；
图6为本申请提供的面向轻量化部署的建筑物火灾识别***的其一结构图；
图7为本申请提供的面向轻量化部署的建筑物火灾识别***的其二结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
发生在建筑物中的火灾不仅严重威胁着人类的生命安全，还给社会带来了巨大的财产损失。因此，对建筑物进行早期的火灾预测和预警对于建筑物的火灾防范具有极其重要的意义。传统的火灾检测技术通常通过环境物理量结合火焰的物理特征数据或图像处理技术来实现火灾的预测和预警。随着深度学习与神经网络技术的快速发展，神经网络模型融合于火灾检测技术当中，实现智能化火灾检测和预警。相关技术存在如下问题：
首先，这些新提出的智能火灾检测方案大多适用于切合企业、工业或如深林放火等专业场景的高端需求，在面对普通家庭、小型民用和商用等普通的火灾检测需求场景时，现有的火灾检测方案存在成本高、安装使用较为繁琐、技术过时或者智能程度偏低等问题，并不适用于普通的火灾检测需求场景。
其次，这些智能火灾检测方案通常采用基于区域建议的目标检测算法和基于回归的目标检测算法来实现火灾的智能检测。其中，基于区域建议的目标检测算法又称为OneStage目标检测算法，其直接在网络中提取特征来预测目标的类别和位置，无需生成区域。常见的One Stage目标检测算法有：OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。而基于回归的目标检测算法又称为Two Stage目标检测算法，其先生成一些可能包含目标的区域(Region Proposal，RP)，然后用卷积神经网络对这些区域进行分类和回归。常见的Two Stage目标检测算法有：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和Mask R-CNN等。这两类方法在准确度和识别速率上有一定的差异，一般来说，Two Stage算法更为准确，但其识别速率较慢；而One Stage算法的识别速率更快，但其准确率较Two Stage算法稍低。
本领域常用于火灾的智能检测的深度学习算法通常包括：
CSP Darknet-53，其为一种卷积神经网络，通常用作目标检测的骨干网络，例如其作为YOLOv4的骨干网络。它以Darknet-53作为基础，采用了CSPNet的策略，将基层的特征图分为两个部分，并通过跨阶层次结构进行合并，这种分割和合并的策略使得网络中的梯度流更充分。此网络的优点是速度快，且对多尺度目标有较好的效果，但存在有如下缺点：
第一，由于CSP Darknet-53使用了较少的残差块和较少的参数，导致特征提取能力不足，其准确度不如一些其他骨干网络。第二，由于CSP Darknet-53使用了较大的感受野和较少的特征金字塔层，导致其对目标的定位和分割能力不强、对遮挡和重叠的目标处理效果较差。第三，CSP Darknet-53使用了Mish激活函数和CSP结构，使得模型的计算复杂度和内存占用增加，训练时间较长且需要较大的显存。
Faster R-CNN，其为一种基于R-CNN的两阶段目标检测模型，它在原有的区域建议(Region Proposal，RP)和区域分类(Region Classification，RC)的基础上，引入了区域建议网络(Region Proposal Network，RPN)，使得区域建议和区域分类可以共享卷积特征，从而提高了速度和准确度。Faster R-CNN使用了VGG-16或ResNet作为骨干网络，以获取高层语义特征。Faster R-CNN的优点是准确度高，且对遮挡和重叠的目标处理好，但存在有如下缺点：
第一，由于Faster R-CNN使用了两阶段的目标检测模型，增加了区域建议网络和区域分类网络之间的数据传输开销，这导致其检测速率较慢，每秒只能处理5帧，达不到目标检测的实时性要求。第二，Faster R-CNN使用了单层的特征图，分辨率较低，而且其网络中存在的RoIPooling操作会导致特征丢失和精度下降，进而导致其对小目标不够敏感，容易出现漏检或误检的情况。第三，Faster R-CNN没有充分利用卷积的平移不变性和位置敏感性，而是使用了全连接层来进行分类和回归，全连接层的分类和回归操作占据了大部分的参数量和计算量，使得模型的计算复杂度和内存占用增加，不利于模型的训练和轻量化部署。第四，Faster R-CNN没有考虑到样本的难易程度和类别分布，而是使用了超参数来限制正负样本的数量，这导致Faster R-CNN在面对多场景目标检测任务时效果较差。
Mask R-CNN，其为一种基于Faster R-CNN的两阶段目标检测模型，它在原有的边界框识别分支上增加了一个用于预测目标掩码的分支，从而实现了实例分割的功能。MaskR-CNN使用了特征金字塔网络(Feature Pyramid Networks，FPN)作为骨干网络，以获取多尺度的特征图。Mask R-CNN的优点是能够同时进行目标检测和分割，且准确度高，但存在有如下缺点：
第一，Mask R-CNN使用了两阶段的目标检测模型以及RoI Align和全卷积神经网络(Fully Convolutional Networks，FCN)等操作，导致其检测速率较慢，每秒只能处理5帧，达不到目标检测的实时性要求。第二，Mask R-CNN使用了单层的特征图，分辨率较低，而且其网络中存在的RoI Align操作导致特征的丢失和精度下降，因而其对小目标和密集型目标检测的效果较差。第三，Mask R-CNN没有充分利用卷积的平移不变性和位置敏感性，而是使用了全连接层来进行分类和回归，全连接层的分类和回归操作占据了大部分的参数量和计算量使得模型的计算复杂度和内存占用增加，不利于模型的训练和轻量化部署。
RetinaNet，其为一种改进的单阶段目标检测模型，它使用了焦点损失函数(FocalLoss)来解决密集目标检测中的类别不平衡问题。焦点损失函数通过给予难分类的样本更大的权重，来降低容易分类的样本的损失值。RetinaNet也使用了特征金字塔网络作为骨干网络，并在其上添加了两个子网络，分别用于分类和回归。RetinaNet的优点是能够在保持高速度的同时达到高准确度，且对密集和小目标有较好的效果，其缺点如下：
第一，由于RetinaNet使用了单层的特征图，分辨率较低，而且其网络中的anchor操作不够灵活，因而其对小目标和密集型目标检测的效果较差。第二，RetinaNet没有充分利用轻量级的网络结构，而是使用了深层的残差网络(ResNet)来提取特征，使用ResNet作为主干网络占据了大部分的参数量和计算量，不利于模型的训练和轻量化部署。第三，RetinaNet使用了Focal Loss作为分类损失函数，Focal Loss的超参数需要根据数据集的特点进行调节，而且Focal Loss只解决了正负样本不平衡的问题，没有考虑到类别之间的不平衡，这导致其在面对多场景目标检测任务时效果较差。
综上可见，虽然现有的目标检测算法能够在一定程度上提高火灾检测的效率和精度，但是现有的目标检测算法不仅对遮挡或者重叠的目标检测的效果差，而且对小目标的目标检测不够敏感，算法的灵活性和稳定性不足，进而导致实际应用时算法的目标检测精度难以达到预期，检测精度有待进一步地提高。此外，现有的目标检测算法的模型参数量较大，部署成本大，并不适用于普通的火灾检测需求场景，无法实现轻量化部署的效果。
针对现有的火灾检测方案不适用于普通的火灾检测需求场景、现有的目标检测算法的灵活性和稳定性不足、检测精度有待进一步地提高以及无法实现轻量化部署的问题，本发明实施例提出了一种部署方便、使用简单并且成本低廉的面向轻量化部署的建筑物火灾识别方法及***，不仅实现了轻量化部署，解决了由于内存占用大、运算复杂度高以及在终端设备上硬件限制等问题导致难以在终端部署的问题，还可以在保证轻量化的前提下，提取了更丰富的底层特征，弥补了分组卷积缺少信息交互的问题，解决了对小目标物体检测不够敏感以及遮挡和重叠目标处理的问题，提高了火灾检测的检测精度和检测速率，具有高可用性。
本申请的一个实施例，下面将参照附图详细描述本发明提出的一种面向轻量化部署的建筑物火灾识别方法。
本发明提出的建筑物识别方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1，本发明提出的建筑物识别方法可以包括但不限于如下步骤：
S101，采集待测建筑物的环境图像。
S102，利用改进神经网络模型对环境图像进行火灾检测，得到火灾检测信息。
需要说明的是，改进神经网络模型利用已标记的环境样本图像及其对应的标记结果训练得到。
本发明实施例中，火灾检测信息包括环境图像存在火灾或者环境图像不存在火灾中的任一种。
S103，采集待测建筑物的环境信息，根据环境信息和火灾检测信息，生成火灾检测结果。
本发明实施例中，火灾检测结果包括待测建筑物存在火灾或者待测建筑物不存在火灾中的任一种。
可选地，通过烟雾传感器、湿度传感器和温度传感器等传感器采集待测建筑物的环境信息，环境信息可以包括但不限于湿度信息、温度信息和烟雾浓度信息。
进一步地，步骤S103具体包括：
获取待测建筑物的温度信息、湿度信息和烟雾信息；
当烟雾信息、湿度信息和温度信息均符合火灾阈值条件，且火灾检测信息为环境图像存在火灾时，生成火灾检测结果，火灾检测结果为待测建筑物存在火灾。
当烟雾信息、湿度信息和温度信息均符合火灾阈值条件，但火灾检测信息为环境图像不存在火灾时，生成火灾检测结果，火灾检测结果为待测建筑物不存在火灾。
当烟雾信息、湿度信息和温度信息中存在至少一个信息不符合火灾阈值条件，且火灾检测信息为环境图像存在火灾时，生成火灾检测结果，火灾检测结果为待测建筑物不存在火灾。
当烟雾信息、湿度信息和温度信息中存在至少一个信息不符合火灾阈值条件，且火灾检测信息为环境图像不存在火灾时，生成火灾检测结果，火灾检测结果为待测建筑物不存在火灾。
需要说明的是，当烟雾信息大于烟雾浓度阈值时，烟雾信息符合火灾阈值条件；当温度信息大于温度阈值时，温度信息符合火灾阈值条件；当湿度信息小于湿度阈值时，湿度信息符合火灾阈值条件。
本发明实施例中，对于火灾的检测技术，除了模型的预测结果，还会综合本地的环境物理数据。若传感器的数据无异常而识别结果为异常，如该情景是类似火灾的图像特征出现，或者传感器的数据有异常而识别结果无异常，有可是外源烟雾和局部高温如烧开水等，都会被认为是火灾并未发生。只有两者数据同时异常才会认为是火灾发生，实现多角度去判断火灾是否发生，提高综合识别结果的可靠程度。
参照图2，上述方法所应用的改进神经网络模型以顺次连接的方式依次设有：
输入层，其作用是修改环境图像的像素尺寸。
本发明实施例中，输入至输入层的环境图像的原始像素尺寸为416×416×3，通过输入层将环境图像的像素尺寸修改为144×144×3，目的在于减少学习参数量，缩小其所需的运算内存。
主干网络，其作用是对环境图像进行特征提取，得到待测特征图和第二特征图。
中间网络，其作用是对待测特征图进行特征增强，并根据特征增强后的待测特征图和所述第二特征图，生成目标候选区域。
预测模块，又称为预测网络，其作用是根据目标候选区域，计算得到环境图像中存在火灾的最大概率，并根据最大概率输出环境图像的火灾检测信息。
可以理解的是，最大概率的取值范围为[0，1]。
本申请的一个实施例，下面将参照附图详细描述本发明实施例提出的改进神经网络模型的层构造及其功能。
1)主干网络的构造及其功能如下：
参照图2，主干网络依次设置有三个顺次连接的特征提取模块和下采样层。三个特征提取模块分别记作第一特征提取模块、第二特征提取模块和第三特征提取模块。经输入层修改像素尺寸后的环境图像作为第一特征提取模块的输入，第三特征提取模块的输出作为下采样层的输入；而对于第二特征提取模块和第三特征提取模块，上一个特征提取模块的输出作为下一个特征提取模块的输入。第二特征提取模块的输出还作为中间网络的通道拼接层的输入，第二个特征提取模块的输出即为第二特征图。
本具体实施例中，每一个特征提取模块的作用为：基于分组卷积和通道混洗的方式对输入至特征提取模块的数据进行特征提取，生成对应的特征图。具体地，第一特征提取模块的作用为对经输入层修改像素尺寸后的环境图像进行分组卷积和通道混洗，以实现特征提取，生成第一特征图并输入至第二特征提取模块。第二特征提取模块的作用为对第一特征图进行分组卷积和通道混洗，以实现特征提取，生成第二特征图并输入至第三特征提取模块以及中间网络的通道拼接层。第三特征提取模块的作用为对第二特征图进行分组卷积和通道混洗，以实现特征提取，生成第三特征图并输入至下采样层。
下采样层的作用则为：对第三特征提取模块的输出进行下采样操作，生成待测特征图。
需要说明的是，下采样操作是将输入特征图中的某一区域合并为一个值，可以减少特征图的尺寸，进而减少计算量，同时提取特征以便进行目标定位和检测。
可选地，主干网络的每个特征提取模块的后面均依次设置有ReLU激活函数和池化层，池化层为基于最大池化方式的池化层。
本具体实施例中，最大池化是将输入特征图划分为若干个区域，然后在每个区域内取最大值作为输出，这样可以减小特征图的空间大小，同时可以提取出最强的特征。激活函数通常是一种非线性操作，用于增强神经网络的表达能力。每个特征提取模块所生成的特征图均经过ReLU激活函数和池化层进行非线性化处理和最大池化处理后，输出至下一层。
本发明中，原有的数据经过处理后其尺寸变为144×144×3，然后其被输入到主干网络中。主干网络的第一特征提取模块主要用于提取数据中各种不同尺度的特征，较小的卷积核可以捕捉图像的局部细节和边缘信息，而较大的卷积核则可以关注更大范围的结构和纹理。通过第一特征提取模块对输入数据处理后，经由其后续的激活函数和池化层输出尺寸为72×72×32的第一特征图。由于第一特征提取模块已经对输入进行了特征提取和组合，因而第二特征提取模块需要更加关注细化和进一步地抽象化特征，通过第二特征提取模块对第一特征图处理后，经由其后续的激活函数和池化层输出36×36×64的第二特征图。此外，通过第二特征提取模块对第一特征图处理后的结果还输出到中间网络的通道拼接层中。由于前两个特征提取模块已经捕捉了图像的低级到中级的特征，如边缘、纹理、形状等，因而第三特征提取模块可以进一步地组合和抽象化这些这些特征，以提取更复杂的语义信息，例如物体部件、整体结构、语义概念等。通过第三特征提取模块对第二特征图进行处理后，经由其后续的激活函数和池化层输出尺寸为18×18×128的第三特征图，并通过下采样层的下采样操作，变换为尺寸为9×9×256的待测特征图。
基于上述实施例，下面参照附图将进一步地阐述单个特征提取模块的层构造以及每层的功能，主干网络的每个特征提取模块的结构均相同。
现有的神经网络ShuffleNet中也提出了分组卷积和通道混洗(Channel Shuffle)操作，对于ShuffleNet而言，其是将输入特征图分成几个较小的组，并在组内执行卷积操作，卷积操作采用的是逐点卷积的方式来实现，逐点卷积是指使用1×1的卷积核对每个通道进行独立的卷积运算。这种设计虽然减少了参数数量，同时保持了模型的表达能力，但是同时这些操作也可能会导致信息的流动受到一定的限制，尤其是在进行通道混洗操作时引入了信息交换，而使得某些特征可能无法充分传递给后续层，从而影响模型的性能。
针对分组卷积缺乏组与组之间信息交互而导致模型性能下降的问题，本发明结合通道混洗操作以及多尺度卷积构建特征提取模块，通过特征提取模块对所有的分组均进行卷积核为3×3、5×5、7×7的卷积运算，得到g×3倍的分组，并进行通道混洗操作，最后经由一个卷积核为1×1的卷积层通道降维后输出。特征提取模块的具体实现过程如下：
参照图3，特征提取模块主要包括顺次连接的通道分组层、分组卷积结构、卷积拼接层、通道混洗层和降维卷积层。本具体实施例中，分组卷积结构由三个子卷积层并接构成。但需要说明的是，分组卷积结构的子卷积层的数量可以是三个及其以上，也可以是三个及其以下，本申请对其他实施例不作具体限定。其中：
分组卷积的实现过程为：通道分组层的作用是将输入到当前特征提取模块的数据沿着通道维度切分为三组子数据，三组子数据与三个子卷积层一一对应，三组子数据分别输入至对应的子卷积层中。在分组卷积结构中，每个子卷积层的作用是根据其填充像素对输入到子卷积层的子数据进行卷积操作，以生成对应的子卷积层。
可以理解的是，子数据的组别的数量与子卷积层的数量一致，且一一对应。
需要说明的是，分组卷积将输入的特征沿通道维度切分成多组，并在每一组中进行独立的卷积运算。传统卷积的参数量为P1＝Cout×Cin×K1×K2，而分组卷积的参数量则为其中，Cout为输出特征的通道数，Cin为输入特征的通道数，K1×K2为卷积核的尺寸。可见，分组卷积有利于降低模型的参量。
通道混洗的实现过程为：在完成分组卷积后，通过卷积拼接层将三个子卷积层输出的子特征图进行通道拼接，然后将通道拼接的结果输入到通道混洗层中。在通道混洗层中，对拼接后的三个子特征图进行通道混洗和重组的操作，随后将操作结果输出到降维卷积层中。降维卷积层的主要作用是降维，即对通道混洗层的输出进行通道降维，生成与特征提取模块对应的特征图。
可选地，三个子卷积层分别为卷积核为3×3的卷积层、卷积核为5×5的卷积层和卷积核为7×7的卷积层；降维卷积层的卷积核为1×1。
需要说明的是，参照图4，通道混洗的操作可以将不同组的特征图打散进行通道混洗，最后再将所有组合并成一个特征图进行输出，这样可以弥补分组卷积所带来的的组与组之间信息交互不足的缺点，增加网络的非线性能力，提高网络的泛化能力。
本发明中，针对现有的神经网络ShuffleNet的缺陷，本发明采用多尺度卷积的方式来实现分组卷积，使用了3×3、5×5、7×7三个不同尺度的卷积核来对每个组进行卷积，并将得到的输出沿着通道维度进行拼接，得到通道数为原来输入特征的三倍的输出特征，以三倍的通道数特征进行通道混洗操作，将多尺度的特征通道充分混合，加强了不同尺度特征信息的交流。这种多尺度的卷积有助于提取到不同尺度的特征，增加模型的感受野，提取更全局和复杂的特征信息。在增加了模型对不同感受野的特征信息获取能力的同时，加强了特征信息的传递，弥补了现有的通道混洗操作的不足，再经过1×1卷积操作进行维度降低，进一步筛选和压缩了特征表示，保留了最相关和有用的信息。本发明既保留了多尺度的特征，也解决了因分组卷积带来的特征信息交互问题。
2)中间网络的构造及其功能如下：
参照图2，中间网络主要包括顺次连接的CBL(Convolutions with BatchNormalization and Leaky ReLU)层、第一卷积层、通道拼接层和卷积模块，第一卷积层与通道拼接层之间连接有上采样层。其中：
CBL层的作用是对待测特征图进行卷积处理，卷积处理后的待测特征图通过第一卷积层和上采样层进入通道拼接层。
可选地，第一卷积层的卷积核为1×1。
通道拼接层的作用是获取第二特征图并将其与卷积处理后的待测特征图进行拼接，得到初始候选区域并输出到卷积模块
卷积模块的作用是对初始候选区域进行卷积操作和去线性化操作，生成目标候选区域。
进一步地，CBL层包括顺次连接的第二卷积层和批标准化层，批标准化层的后面设置有激活函数。考虑到模型拟合问题，本发明以LeakyReLU激活函数作为激活函数，LeakyReLU激活函数用于增加模型的表现力，并使模型更好地拟合数据。
可选地，第二卷积层的卷积核为3×3。
本具体实施例中，在CBL层中，卷积层负责特征提取，批标准化层用于加速训练过程，减少梯度消失和梯度***等问题，而LeakyReLU激活函数则能够解决ReLU激活函数可能出现的神经元死亡问题。CBL层的优点在于它能够有效地减少过拟合，同时也可以提高模型的泛化能力，加速模型的训练过程；而且，相对于一些传统的卷积模块，它可以更快地收敛到最优解，训练速度更快。
进一步地，卷积模块主要包括顺次连接的第三卷积层和第四卷积层，第三卷积层的后面设置有激活函数。本发明以LeakyReLU激活函数作为激活函数。第三卷积层的作用是对初始候选区域进行卷积操作，并通过激活函数对卷积操作后的初始候选区域进行去线性化处理。第四卷积层的作用是对去线性化处理的结果进行卷积操作，生成目标候选区域。
可选地，第三卷积层的卷积核为3×3，第四卷积层的卷积核为1×1。
本具体实施例中，在中间网络的最后一层设置的是卷积模块而并非常见的池化层，这是因为引入由卷积核为3×3的卷积层、激活函数以及卷积核为1×1的卷积层构成的卷积模块，可以对拼接后的特征进行进一步的卷积操作和非线性变换，这有助于提取更高级别的语义特征，使网络能够更好地理解物体的形状、结构和语义信息，提高模型的特征表达能力，增强目标检测性能。
3)预测模块的构造及其功能如下：
本发明实施例提出的神经网络模型中的预测模块沿用YOLO算法中的YOLOHEAD，即预测模块为YOLO预测头。
在上述改进神经网络模型的构造和功能的基础上，下面通过附图和如下实施例验证本申请提出的改进神经网络模型的有效性和先进性。
为了更好地训练和验证本申请提出的改进神经网络模型，在目标检测的相关性能评估参数中，本具体实施例选取了如下参数来对神经网络的目标检测的性能进行评估：
参数量，是指神经网络模型的参数量。
FPS，是指是指每秒处理的图像帧数，表示模型在单位时间内能够完成多少次推理。FPS值越高，则表示模型具有的推理速度越快。本具体实施例中涉及到的FPS均为在GPU为TRX 2080Ti的环境下计算得出。
AP(Average Precision，平均精度)，是指Precision-Recall曲线下的面积。通常来说一个越好的分类器，AP值越高。AP值基于Precision-Recall曲线计算得出，Precision-Recall曲线是指每个置信度阈值下的准确率(Precision)和召回率(Recall)所围成的曲线，横坐标表示召回率，纵坐标表示精准率。
AP50，是指重叠程度(IoU)的阈值为50％时的平均精度。换句话说，只有当预测框与真实框的重叠程度大于50％时，才将其视为正确预测。
AP75，是指重叠程度(IoU)的阈值为75％时的平均精度。换句话说，只有当预测框与真实框的重叠程度大于75％时，才将其视为正确预测。
本具体实施例选取YOLOv4-Tiny、Faster R-CNN、R-CNN、Mask R-CNN、RetinaNet、EfficientNet、YOLOv4-Tiny-Shufflenet作为对比网络，其中，YOLOv4-Tiny-Shufflenet是指将YOLOv4-Tiny的主干网络替换为Shufflenet的神经网络模型。本具体实施例将本申请的模型以及上述多个对比网络在同一个标准的数据集上进行训练和验证，并将本申请的模型与上述对比网络的性能进行比对，以验证本申请的模型的有效性和先进性。
本具体实施例所采用的第一数据集包括至少一千张火灾图像，包含了多类火灾图像，例如建筑火灾、森林火灾等。本具体实施例的第一数据集划分方法采用留出法，将数据集划分为训练集、验证集和测试集三部分。其中，训练集用于模型的参数估计，验证集用于模型的超参数选择和调整，测试集用于评估模型的性能。训练集占总数据集的80％，验证集占10％，测试集占10％。
将本申请的模型以及上述多个对比网络在上述第一数据集中进行训练和验证，网络训练时均采用相同的如初始学习率、动量、批处理数、输入图像的尺寸、最大训练轮数、损失函数等训练参数。
参照下表1，表1为本申请的模型以及多个对比网络在第一数据集的目标检测任务上的性能对比表。
表1：本申请的模型以及多个对比网络的性能对比表(第一数据集)
神经网络模型 参数量 FPS AP AP50 AP75
本申请的模型 5.4M 612 42.3 63.4 45.1
YOLOv4-TINY 7.8M 443 41.3 62.5 44
FasterR-CNN 7.1M 305 41.5 62.7 44.3
R-CNN 33.6M 220 41.1 62.2 44.1
Mask R-CNN 47M 150 41.6 62.9 44.6
RetinaNet 8.1M 323 41.7 62.9 44.8
EfficientNet 20.3M 533 42.3 63.3 45.3
YOLOv4-TINY-ShuffleNet 2.89M 601 40.9 62.0 43.8
通过表1可见：在参数量方面，参数量最小的是YOLOv4-TINY-ShuffleNet，而本申请的模型的参数量仅次于YOLOv4-TINY-ShuffleNet，较YOLOv4-TINY-ShuffleNet的参数量，本申请的模型仅高出2.51M。这说明相比于大部分的对比网络，本申请的模型的参数量大幅度下降，使得模型的计算复杂度和内存占用减少，有利于实现轻量化部署。
在FPS指标方面，本申请的模型取得了最优的FPS值。显然，相比于大部分的对比网络，本申请的模型降低了数据传输的开销，提高了检测速率，能够达到目标检测的实时性要求，极大地加速了模型的推理时间。
在AP、AP50以及AP75指标方面，本申请的模型在AP指标和AP50指标上取得了最优值。而本申请的模型在AP75指标上取得了次优值，相比在AP75指标上取得45.3最优值的YOLOv4-TINY-ShuffleNet，本申请的模型的AP75值较其低了0.2。这说明相比于大部分的对比网络，本申请的模型在保证轻量化的前提下，有效地提高了火灾检测任务上的检测准确率和精准度。
参照图5，图5为对比网络YOLOv4-Tiny、YOLOv4-TINY-ShuffleNet以及本申请的模型的目标检测效果图，其中，(a)为YOLOv4-Tiny的目标检测效果图，(b)为YOLOv4-TINY-ShuffleNet的目标检测效果图，(c)为本申请的模型的目标检测效果图。通过图5可见：YOLOv4-TINY能够检测到大部分的火焰特征，一些较小的火焰特征由于缺少多尺度特征所以难以捕捉到。因为YOLOv4-TINY-ShuffleNet的网络复杂度较低以及信息流动受限，尤其是其在通道混洗操作时引入了信息交换，使得某些特征可能无法充分传递给后续层，从而影响证模型的整体性能。因此，YOLOv4-TINY-ShuffleNet只能检测到较大、较明显的火焰特征，同时将一些与火焰相似的干扰特征也误检测为火焰。本申请的模型在加入了多尺度卷积和通道混洗操作后加强了不同尺度特征信息的交流，在增加了模型对于不同感受野的特征信息获取能力的同时强化了特征信息的传递，因此，本申请的模型对于细微的特征结构也能很好的把控，不仅可以避免特征丢失和精度下降问题，对小目标以及密集型目标更为敏感，在小目标和密集型目标检测任务上能够达到很好的效果，还能避免将干扰特征误判为火焰的情况出现，提高火灾检测的精度。
本具体实施例所采用的第二数据集为公开的FireNet火灾数据集，其包含了至少五千张多类火灾图像，其中包括室内和室外的烟雾、火焰和其他类型的火灾图像。对第二数据集的划分方式与第一数据集的划分方式一致。
将本申请的模型以及上述多个对比网络在上述第二数据集中进行训练和验证，网络训练时均采用相同的如初始学习率、动量、批处理数、输入图像的尺寸、最大训练轮数、损失函数等训练参数。
参照下表2，表2为本申请的模型以及多个对比网络在第一数据集的目标检测任务上的性能对比表。
表2：本申请的模型以及多个对比网络的性能对比表(第二数据集)
神经网络模型 参数量 FPS AP AP50 AP75
本申请的模型 5.4M 612 41.1 62.5 44.2
YOLOv4-TINY 7.8M 443 39.3 60.5 42.6
Faster R-CNN 7.1M 305 40.1 61 43
R-CNN 33.6M 220 39.2 60.7 42.4
Mask R-CNN 47M 150 40.3 61.1 43.3
RetinaNet 8.1M 323 40.2 61.3 43.1
EfficientNet 20.3M 533 41 62.7 44
YOLOv4-TINY-ShuffleNet 2.89M 601 39 60.1 42
通过表2可见：在参数量方面，参数量最小的是YOLOv4-TINY-ShuffleNet，而本申请的模型的参数量仅次于YOLOv4-TINY-ShuffleNet，较YOLOv4-TINY-ShuffleNet的参数量，本申请的模型仅高出2.51M。这说明相比于大部分的对比网络，本申请的模型的参数量大幅度下降，使得模型的计算复杂度和内存占用减少，有利于实现轻量化部署。
在FPS指标方面，本申请的模型取得了最优的FPS值。显然，相比于大部分的对比网络，本申请的模型降低了数据传输的开销，提高了检测速率，能够达到目标检测的实时性要求，极大地加速了模型的推理时间。
在AP、AP50以及AP75指标方面，本申请的模型在AP指标和AP75指标上取得了最优值。而本申请的模型在AP50指标上取得了次优值，相比在AP50指标上取得62.7最优值的EfficientNet，本申请的模型的AP50值较其仅低了0.2。这说明相比于大部分的对比网络，本申请的模型在保证轻量化的前提下，有效地提高了火灾检测任务上的检测准确率和精准度。
由此可见，针对现有的目标检测算法中存在的目标检测问题以及网络ShuffleNet在分组卷积和通道混洗时存在的缺陷，本发明实施例所提出的改进神经网络模型能够使得模型的参数量大幅度下降，降低了网络部署在硬件上的成本，并且在不同组中的特征是同步进行卷积操作的，这样的并行处理大大加速了模型的推理时间，解决了由于内存占用大、运算复杂度高以及在终端设备上硬件限制等问题导致难以在终端部署的问题。同时，在保证轻量化的前提下，引入了多尺度卷积以及通道混洗的操作，提取了更丰富的底层特征，并对这些特征进行充分混合，弥补了分组卷积缺少信息交互的问题，在解决了对小目标物体检测不够敏感以及遮挡和重叠目标处理的问题的同时，提高了火灾检测的检测精度和检测速率，在火灾目标检测任务上能够达到更好的效果，具有高可用性。
上述验证阶段证明了本申请提出的改进神经网络模型具有优越性、先进性和有效性。
此外，本发明实施例还提出了面向轻量化部署的建筑物火灾识别***，下面将结合附图对建筑物火灾识别***的构造和功能进行说明和阐述。
参照图6，所述***主要包括：
图像采集模块，其功能是采集待测建筑物的环境图像。
可选地，图像采集模块为OV2640摄像头。
火灾检测模块，其功能是利用改进神经网络模型对环境图像进行火灾检测，得到火灾检测信息。
可选地，火灾检测模块为基于STM32F407ZGT6的控制模块，改进神经网络模型搭载于STM32F407ZGT6主控板上。
传感器模块，其功能是采集待测建筑物的环境信息。
信息运算模块，其功能是根据环境信息和火灾检测信息，生成火灾检测结果。
参照图7，本发明实施例设计了一种部署方便、使用简单并且成本低廉的高智能火灾识别***，其主要由三个部分来构成。第一部分为火灾识别部分，火灾识别部分的硬件设计是基于STM32F407ZGT6配合OV2640摄像头、TFT-LCD屏所搭建而成，软件设计是以基于Tensorflow深度学习框架下的轻量型的神经网络模型为核心的火灾识别预测程序，提供API接口代码用于数据信息分发。其中，上述***中的图像采集模块即为此部分的摄像头，火灾检测模块则为基于STM32F407ZGT6的控制模块。第二部分是物联网下位机部分，硬件设计是以STM32F103C8T6为主控板，结合能检测环境物理量以及可联网的模块，软件设计是物联网程序，将收集到的数据信息上传到服务器以及处理下发的数据。其中，上述***中的传感器模块即为此部分中用于检测环境物理量的模块，而信息运算模块则为数据处理和整合的模块。可选地，第三部分是信息接收端部分，信息接收端基于微信小程序所开发的，能够从服务器上获取数据信息同时在终端设备上显示。
本发明从家庭用户和中小群体用户的普通需求出发，针对现市面上的嵌入式方案或者技术在安装使用、产品成本、可靠程度以及产品移植方面上存在的问题，采用了更为廉价的、使用广泛的STM32系列的芯片作为本方案的主控芯片，以及性能符合火灾检测需求且成本较低的OV2640摄像头获取数据；通过接入物联网***使人机的信息交互变得更为便捷；双***无线通信的设计则使整个***在安装上会更加方便。
进一步地，第一部分为火灾识别部分，硬件部分是由STM32F407ZGT6主控板、TFTLCD显示屏、OV2640摄像头和蓝牙模块所组成。本申请的***中的STM32F407ZGT6主控板通过DMA驱动和DCMI驱动控制OV2640摄像头采集建筑物的环境图像数据，并显示在TFTLCD显示屏上，再进行下采样处理后经由搭载在STM32F407ZGT6主控板上的改进神经网络模型进行预测，最后在图像上框选出预测结果，并且将检测结果通过蓝牙模块实现数据传输到物联网下位机部分。此外，硬件部分还包括有外扩SRAM内存模块，外扩SRAM内存模块用于存储数据。
第二部分为物联网下位机部分，其硬件设计除了STM32F103C8T6主控板以外，还包括烟雾检测模块、esp8266wifi模块、DHT11温湿度检测模块以及用以显示的OLED模块和用以通信的蓝牙模块。烟雾检测模块即为MQ2烟雾传感器，DHT11温湿度检测模块即为温度传感器和湿度传感器的综合传感器。该物联网下位机部分通过蓝牙模块与火灾识别部分通信，接收火灾识别部分的反馈信息，主要过程为：火灾识别部分设置有4个反馈区间，分别代表着“高”“中”“低”“无”等4种可能性，通过从模型输出的置信度来判定在哪个区间，然后经由条件语句将检测结果存放在特定数组，等待着物联网下位机部分的数据请求。具体为，当物联网下位机部分发送“NF”数组时，火灾识别部分会检测关键字，执行发送程序将数据传输给物联网下位机部分，完成整个反馈过程。物联网下位机部分会将环境数据和识别数据进行统合，制成JSON格式的数据包，通过esp8266wifi模块将数据上传至服务器。
可选地，物联网下位机部分通过MQTT协议与服务器连接。
第三部分是基于微信小程序的信息接收端部分，可从服务器上获取数据信息同时显示在手机上，以便于用户查看当前建筑物的火灾情况，当建筑物存在有火灾时，通过控制蜂鸣器、LED灯等电子器件来进行火灾报警，以达到火灾检测和预警的效果。
综上可见，本发明实施例具有如下技术效果：
1)本发明提供的建筑物火灾识别***在安装使用、产品成本、可靠程度以及产品移植方面上都做了比较不错的权衡。首先，本发明基于产品移植性上作出的选择，采用了如STM32芯片等使用广泛的芯片，同时基于普通用户使用上的遍历以及成本的角度上，采用了价格低廉的嵌入式设备作为主控板和双***无线通信设计，结合微信小程序技术，不仅可以方便用户的使用与安装，而且还可以降低火灾检测部署的成本，适用于普通家庭、小型民用和商用等普通的火灾检测需求场景，实现低成本、高质量的火灾检测。
2)在火灾检测方面，本发明采用的是数据综合判断策略，将识别结果数据和传感器数据进行综合判断，不会只依赖神经网络模型的识别结果去判断，而是具有智能识别的高效率检测判断并佐以传感器对环境高可靠性判断，让整个***的检测的结果具有可靠性和高效率。
3)在神经网络模型融合于火灾检测技术方面，针对现有的目标检测算法中存在的目标检测问题以及网络ShuffleNet在分组卷积和通道混洗时存在的缺陷，本发明实施例所提出的改进神经网络模型能够使得模型的参数量大幅度下降，降低了网络部署在硬件上的成本，并且在不同组中的特征是同步进行卷积操作的，这样的并行处理大大加速了模型的推理时间。同时，在保证轻量化的前提下，引入了多尺度卷积以及通道混洗的操作，提取了更丰富的底层特征，并对这些特征进行充分混合，弥补了分组卷积缺少信息交互的问题，在解决了对小目标物体检测不够敏感以及遮挡和重叠目标处理的问题的同时，在火灾目标检测任务上能够达到更好的效果。
本发明实施例不仅实现了轻量化部署，解决了由于内存占用大、运算复杂度高以及在终端设备上硬件限制等问题导致难以在终端部署的问题，还可以在保证轻量化的前提下，提高了模型对小目标物体检测的敏感度，能够在遮挡和重叠目标的复杂场景下实现火灾检测，进而提高了火灾检测的检测精度和检测速率，具有高可用性、先进性和可行性。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种面向轻量化部署的建筑物火灾识别方法，其特征在于，包括如下步骤：
采集待测建筑物的环境图像；
利用改进神经网络模型对所述环境图像进行火灾检测，得到火灾检测信息；
采集待测建筑物的环境信息，根据环境信息和火灾检测信息，生成火灾检测结果；
其中，所述改进神经网络模型利用已标记的环境样本图像及其对应的标记结果训练得到，所述改进神经网络模型包括顺次连接的输入层、主干网络、中间网络和预测模块，所述输入层用于修改所述环境图像的像素尺寸；所述主干网络用于对所述环境图像进行特征提取，得到待测特征图和第二特征图；所述中间网络用于对所述待测特征图进行特征增强，并根据特征增强后的所述待测特征图和所述第二特征图，生成目标候选区域；所述预测模块用于根据所述目标候选区域，计算得到所述环境图像中存在火灾的最大概率，并根据所述最大概率输出所述环境图像的火灾检测信息；
其中，所述主干网络依次设置有三个顺次连接的特征提取模块和下采样层，经所述输入层修改像素尺寸后的环境图像作为第一个特征提取模块的输入；对于第二个特征提取模块和第三个特征提取模块，上一个特征提取模块的输出作为下一个特征提取模块的输入；第三个特征提取模块的输出作为下采样层的输入；其中，每个特征提取模块均用于基于分组卷积和通道混洗的方式对输入至特征提取模块的数据进行特征提取，生成对应的特征图；所述下采样层用于对第三个特征提取模块的输出进行下采样操作，生成待测特征图；
其中，所述特征提取模块包括顺次连接的通道分组层、分组卷积结构、卷积拼接层、通道混洗层和降维卷积层，所述分组卷积结构由三个子卷积层并接构成，所述通道分组层用于将输入至所述特征提取模块的数据沿着通道维度切分为多组子数据，所述分组卷积结构用于对所有的分组进行卷积核为33、5/>5和7/>7的卷积运算，其中，不同组中的特征同步进行卷积操作，所述卷积拼接层用于对三个子卷积层输出的子特征图进行通道拼接，得到通道数为原来输入特征的三倍的输出特征；所述通道混洗层用于对拼接后的三个子特征图进行通道混洗和重组；所述降维卷积层用于对所述通道混洗层的输出进行通道降维，生成与所述特征提取模块对应的特征图；
其中，三个所述子卷积层分别为卷积核为33的卷积层、卷积核为5/>5的卷积层和卷积核为7/>7的卷积层，所述降维卷积层的卷积核为1/>1。
2.根据权利要求1所述的一种面向轻量化部署的建筑物火灾识别方法，其特征在于，所述降维卷积层的后面依次设置有ReLU激活函数和池化层，所述池化层为基于最大池化方式的池化层，所述与所述特征提取模块对应的特征图经ReLU激活函数和所述池化层输出。
3.根据权利要求1所述的一种面向轻量化部署的建筑物火灾识别方法，其特征在于，第二个特征提取模块的输出还作为所述中间网络的通道拼接层的输入，第二个特征提取模块的输出即为第二特征图。
4.根据权利要求1所述的一种面向轻量化部署的建筑物火灾识别方法，其特征在于，所述中间网络包括顺次连接的CBL层、第一卷积层、通道拼接层和卷积模块，所述第一卷积层和所述通道拼接层之间连接有上采样层，所述CBL层用于对所述待测特征图进行卷积处理，卷积处理后的所述待测特征图通过所述第一卷积层和所述上采样层进入所述通道拼接层，所述通道拼接层用于获取第二个特征提取模块的输出，即第二特征图，并将所述第二特征图与卷积处理后的所述待测特征图进行拼接，得到初始候选区域；所述卷积模块用于对所述初始候选区域进行卷积操作和去线性化操作，生成目标候选区域。
5.根据权利要求4所述的一种面向轻量化部署的建筑物火灾识别方法，其特征在于，所述CBL层包括顺次连接的第二卷积层和批标准化层，所述批标准化层的后面设置有LeakyReLU激活函数；所述卷积模块包括顺次连接的第三卷积层和第四卷积层，所述第三卷积层的后面设置有LeakyReLU激活函数，所述第三卷积层用于对所述初始候选区域进行卷积操作，并通过所述激活函数对卷积操作后的所述初始候选区域进行去线性化处理，所述第四卷积层用于对去线性化处理的结果进行卷积操作，生成目标候选区域；
其中，所述第二卷积层和所述第三卷积层的卷积核均为33，所述第一卷积层和所述第四卷积层的卷积核均为1/>1。
6.根据权利要求1所述的一种面向轻量化部署的建筑物火灾识别方法，其特征在于，所述预测模块为YOLO预测头。
7.根据权利要求1所述的一种面向轻量化部署的建筑物火灾识别方法，其特征在于，所述采集待测建筑物的环境信息，根据环境信息和火灾检测信息，生成火灾检测结果，包括：
获取待测建筑物的温度信息、湿度信息和烟雾信息；
当所述烟雾信息、所述湿度信息和所述温度信息均符合火灾阈值条件，且所述火灾检测信息为环境图像存在火灾时，生成火灾检测结果，所述火灾检测结果为待测建筑物存在火灾。
8.一种面向轻量化部署的建筑物火灾识别***，其特征在于，包括：
图像采集模块，用于采集待测建筑物的环境图像；
火灾检测模块，用于利用改进神经网络模型对所述环境图像进行火灾检测，得到火灾检测信息；
传感器模块，用于采集待测建筑物的环境信息；
信息运算模块，用于根据环境信息和火灾检测信息，生成火灾检测结果；
其中，所述改进神经网络模型利用已标记的环境样本图像及其对应的标记结果训练得到，所述改进神经网络模型包括顺次连接的输入层、主干网络、中间网络和预测模块，
所述输入层用于修改所述环境图像的像素尺寸；
所述主干网络用于对所述环境图像进行特征提取，得到待测特征图和第二特征图；
所述中间网络用于对所述待测特征图进行特征增强，并根据特征增强后的所述待测特征图和所述第二特征图，生成目标候选区域；
所述预测模块用于根据所述目标候选区域，计算得到所述环境图像中存在火灾的最大概率，并根据所述最大概率输出所述环境图像的火灾检测信息；
其中，所述主干网络依次设置有三个顺次连接的特征提取模块和下采样层，经所述输入层修改像素尺寸后的环境图像作为第一个特征提取模块的输入；对于第二个特征提取模块和第三个特征提取模块，上一个特征提取模块的输出作为下一个特征提取模块的输入；第三个特征提取模块的输出作为下采样层的输入；其中，每个特征提取模块均用于基于分组卷积和通道混洗的方式对输入至特征提取模块的数据进行特征提取，生成对应的特征图；所述下采样层用于对第三个特征提取模块的输出进行下采样操作，生成待测特征图；
其中，所述特征提取模块包括顺次连接的通道分组层、分组卷积结构、卷积拼接层、通道混洗层和降维卷积层，所述分组卷积结构由三个子卷积层并接构成，所述通道分组层用于将输入至所述特征提取模块的数据沿着通道维度切分为多组子数据，所述分组卷积结构用于对所有的分组进行卷积核为33、5/>5和7/>7的卷积运算，其中，不同组中的特征同步进行卷积操作，所述卷积拼接层用于对三个子卷积层输出的子特征图进行通道拼接；所述通道混洗层用于对拼接后的三个子特征图进行通道混洗和重组；所述降维卷积层用于对所述通道混洗层的输出进行通道降维，生成与所述特征提取模块对应的特征图；
其中，三个所述子卷积层分别为卷积核为33的卷积层、卷积核为5/>5的卷积层和卷积核为7/>7的卷积层，所述降维卷积层的卷积核为1/>1。
CN202311185429.8A 2023-09-13 2023-09-13 一种面向轻量化部署的建筑物火灾识别方法及*** Active CN117333808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311185429.8A CN117333808B (zh) 2023-09-13 2023-09-13 一种面向轻量化部署的建筑物火灾识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311185429.8A CN117333808B (zh) 2023-09-13 2023-09-13 一种面向轻量化部署的建筑物火灾识别方法及***

Publications (2)

Publication Number Publication Date
CN117333808A CN117333808A (zh) 2024-01-02
CN117333808B true CN117333808B (zh) 2024-04-30

Family

ID=89294243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311185429.8A Active CN117333808B (zh) 2023-09-13 2023-09-13 一种面向轻量化部署的建筑物火灾识别方法及***

Country Status (1)

Country Link
CN (1) CN117333808B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011319A (zh) * 2021-03-16 2021-06-22 上海应用技术大学 多尺度火灾目标识别方法及***
CN113743322A (zh) * 2021-09-07 2021-12-03 上海海事大学 基于改进YOLOv3算法的海上船舶检测方法
CN113807276A (zh) * 2021-09-23 2021-12-17 江苏信息职业技术学院 基于优化的YOLOv4模型的吸烟行为识别方法
CN113989518A (zh) * 2021-11-08 2022-01-28 中国科学院合肥物质科学研究院 一种应用于智能终端的轻量级目标检测方法
CN115482471A (zh) * 2022-09-19 2022-12-16 交通运输部规划研究院 一种基于sar图像的目标检测方法及装置
CN115810157A (zh) * 2022-12-19 2023-03-17 南京航空航天大学 一种基于轻量级特征融合的无人机目标检测方法
CN116012337A (zh) * 2023-01-09 2023-04-25 江苏科技大学 一种基于改进YOLOv4的热轧带钢表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884064B (zh) * 2021-03-12 2022-07-29 迪比（重庆）智能科技研究院有限公司 一种基于神经网络的目标检测与识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011319A (zh) * 2021-03-16 2021-06-22 上海应用技术大学 多尺度火灾目标识别方法及***
CN113743322A (zh) * 2021-09-07 2021-12-03 上海海事大学 基于改进YOLOv3算法的海上船舶检测方法
CN113807276A (zh) * 2021-09-23 2021-12-17 江苏信息职业技术学院 基于优化的YOLOv4模型的吸烟行为识别方法
CN113989518A (zh) * 2021-11-08 2022-01-28 中国科学院合肥物质科学研究院 一种应用于智能终端的轻量级目标检测方法
CN115482471A (zh) * 2022-09-19 2022-12-16 交通运输部规划研究院 一种基于sar图像的目标检测方法及装置
CN115810157A (zh) * 2022-12-19 2023-03-17 南京航空航天大学 一种基于轻量级特征融合的无人机目标检测方法
CN116012337A (zh) * 2023-01-09 2023-04-25 江苏科技大学 一种基于改进YOLOv4的热轧带钢表面缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jinfu Liu;Jingsheng Lei;Lu Yu;Jenq-Neng Hwang.GMNet: Graded-Feature Multilabel-Learning Network for RGB-Thermal Urban Scene Semantic Segmentation.《IEEE Transactions on Image Processing》.2021,7790-7802页. *
Multi-scale Lightweight Neural Network for Real-Time Object Detection;Yuan Li, Qiaojun Wu, Song Chen & Yi Kang;《PRICAI 2022: PRICAI 2022: Trends in Artificial Intelligence》;20221104;199–211页 *
Probability Fusion Decision Framework of Multiple Deep Neural Networks for Fine-Grained Visual Classification;Yang-Yang Zheng; Jian-Lei Kong; Xue-Bo Jin; Xiao-Yi Wang; Ting-Li Su; Jian-Li Wang;《IEEE Access 》;20190805;1-18页 *
Wujie Zhou School of Information and Electronic Engineering, Zhejiang University of Science and Technology, Hangzhou, China,Institute of Information and Communication Engineering, Zhejiang University, Hangzhou, China *

Also Published As

Publication number Publication date
CN117333808A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
CN113807276B (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
CN111626350A (zh) 目标检测模型训练方法、目标检测方法及装置
CN112166438A (zh) 确定性标记数据生成和人工智能训练途径
CN109871780B (zh) 一种人脸质量判决方法、***及人脸识别方法、***
CN106372606A (zh) 目标对象信息生成方法和单元、识别方法和单元及***
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和***
CN110648490B (zh) 适用于嵌入式平台的多因子火焰识别方法
WO2021104125A1 (zh) 禽蛋异常的识别方法、装置及***、存储介质、电子装置
US20220398835A1 (en) Target detection system suitable for embedded device
CN109711407A (zh) 一种车牌识别的方法及相关装置
CN111652087A (zh) 验车方法、装置、电子设备和存储介质
CN112733815B (zh) 一种基于rgb室外道路场景图像的红绿灯识别方法
CN114580541A (zh) 一种基于时空域双通道火灾视频烟雾识别方法
CN112258254A (zh) 基于大数据架构的互联网广告风险监测方法及***
CN113516102A (zh) 基于视频的深度学习抛物行为检测方法
CN116863286A (zh) 一种双流目标检测方法及其模型搭建方法
CN114881711A (zh) 基于请求行为进行异常分析的方法及电子设备
CN111507416A (zh) 一种基于深度学习的吸烟行为实时检测方法
CN112989932A (zh) 基于改进原型网络的少样本森林火灾烟雾识别方法及装置
CN117333808B (zh) 一种面向轻量化部署的建筑物火灾识别方法及***
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、***及存储介质
CN116983660A (zh) 一种图像处理的方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant