CN116977634B - 基于激光雷达点云背景减除的火灾烟雾检测方法 - Google Patents
基于激光雷达点云背景减除的火灾烟雾检测方法 Download PDFInfo
- Publication number
- CN116977634B CN116977634B CN202310874836.3A CN202310874836A CN116977634B CN 116977634 B CN116977634 B CN 116977634B CN 202310874836 A CN202310874836 A CN 202310874836A CN 116977634 B CN116977634 B CN 116977634B
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- feature
- point cloud
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 235000019504 cigarettes Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 241000256626 Pterygota <winged insects> Species 0.000 description 1
- 241001421235 Radara Species 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于激光雷达点云背景减除的火灾烟雾检测方法，包括：通过激光雷达获取监测场所中不存在烟雾时的点云数据作为背景；对激光雷达获取到的实时点云图像进行背景减除等预处理；将预处理后的图像切分；使用训练好的网络模型分别对切分图像进行烟雾检测；将在切分图像检测到的结果聚合并显示在原始图像上。本方案有效利用了激光雷达探测范围广、探测距离远、不受夜间光照暗的影响，有效利用了传感器采集到的点云回波数据，具有准确率高，探测距离远，夜间监测效果好的优势。
Description
技术领域
本发明涉及深度学习领域中火灾探测报警技术领域，提出了一种基于激光雷达点云背景减除的火灾烟雾检测方法。
背景技术
据国内外数据统计，全世界所有火灾中有10％以上由烟头等生活中常见的火源引起。在此类火灾案例中，火灾初期一般会经过一段时间的阴燃过程。很多生活中的常见物质，如纸张、锯末、纤维织物等，在遇到烟头等高温热源时都存在发生阴燃的风险。阴燃相比于明火，并不会产生较为明显的火焰，而是产生白色或青白色的烟气。但只要或者氧气充足，或者有足量的风吹过，阴燃就有很大可能转化成明火。由于阴燃不产生火焰的特性，导致其具有极强的隐蔽性，难以在初期被及时发现。因此，对于阴燃产生的烟雾进行探测，可在火灾初期发现阴燃火点，及时定位危险源，采取有效手段处置，大大减少火灾蔓延造成的损失。
传统针对烟雾进行探测的方式主要有点型感烟火灾探测器，光束感烟火灾探测器、图像型火灾探测器等。点型感烟火灾探测器与光束火灾探测器的原理基本相同：烟雾粒子的进入会影响发光端与接收端之间光线的强度，通过传感器将光线强度变化转换为电信号，当采集值达到预设阈值时，即认为发生火灾。此类探测器设计简单、安装方便，在一定程度上解决了某些场景的火灾报警问题。图像型火灾探测器使用图像处理、深度学习等方法对监控器中的画面进行处理和监测，实现对烟雾的识别，具有覆盖面广的优势。
然而，当前的火灾检测方式同样存在一些问题：（1）点型、线型火灾探测器覆盖面不足，通常需要大面积设置才能实现有效检测。例如，点型感烟火灾探测器的有效监测半径不超过十米，需要大量布设方可实现对监测场所的全方位覆盖；以对射式光束感烟火灾探测器为代表的线型火灾探测器只能对发射器和接收器之间的区域进行有效监测，同样无法覆盖整个场所。同时这两类探测方式容易受到粉尘、飞虫等影响，误报率较高。（2）图像型火灾探测器可以通过图像处理算法对视频流检测实现对监测场所的大面积覆盖，但受限于阴燃烟雾形状多变，算法准确率方面仍然无法保证，且目前并未出台相关标准对图像型火灾探测器的烟雾探测效果进行衡量。同时图像型火灾探测器受环境干扰较大，受强光、塑料袋、白色物体的影响极易产生误报，在夜间等光照条件不佳的场景中可靠性也会降低，甚至无法工作。
发明内容
鉴于上述问题，本发明提出一种本发明提出了一种新的火灾探测方法：基于激光雷达点云背景减除的火灾烟雾检测方法，所述方法包括：
S1：通过激光雷达获取监测场所中不存在烟雾时的点云图像，作为背景图像；
S2：获取激光雷达获取的实时点云图像，基于所述背景图像对所述实时点云图像进行预处理；
S3：将经过预处理的点云图像进行切分，得到多个切分图像；
S4：使用训练好的网络模型分别对各切分图像进行烟雾检测，得到各切分图像对应的烟雾检测结果；
S5：将各切分图像对应的烟雾检测结果聚合并显示在所述实时点云图像上。
可选地，步骤S2中基于所述背景图像对所述实时点云图像进行预处理包括：
将所述背景图像和所述实时点云图像作差，得到背景减除后的第一点云图像；
对所述背景减除后的点云图像再次与背景图像作差，得到第二点云图像；
使用OpenCV中的MORPH_CLOSE函数对所述第二点云图像进行闭运算，得到预处理后的点云图像。
可选地，步骤S3将经过预处理的点云图像进行切分，得到多个切分图像包括：
将经过预处理的点云图像进行切分，得到两张切分图像，分别为第一切分图像和第二切分图像；所述第一切分图像和所述第二切分图像存在重叠区域。
可选地，步骤S4使用训练好的网络模型分别对各切分图像进行烟雾检测，得到各切分图像对应的烟雾检测结果包括：
初始化两个线程，包括第一线程和第二线程；
通过所述第一线程和第二线程分别读取述第一切分图像和第二切分图像；
使用Shuffle-vit-YOLO网络模型分别对所述第一线程和第二线程读取的所述第一切分图像和所述第二切分图像进行烟雾检测，以得到所述第一切分图像对应的第一烟雾检测框和第二切分图像对应的第二烟雾检测框。
可选地，所述Shuffle-vit-YOLO网络模型由卷积、上采样、拼接、Shuffle-vit模块和Shuffle-vit-a模块构成。
可选地，所述Shuffle-vit模块和Shuffle-vit-a模块具体执行以下步骤：
步骤A01：使用卷积核大小为1×1的分组卷积对输入特征进行卷积操作，得到特征/>；
步骤A02：对步骤A01得到的特征逐个通道使用PyTorch网络框架中的torch.transpose函数进行打散重组，得到特征/>；
步骤A03：使用卷积核大小为3×3的深度可分离卷积对步骤A02得到的特征进行卷积操作，得到特征/>；
步骤A04：使用卷积核大小为1×1的分组卷积对输入特征进行卷积操作，得到特征/>；
步骤A05：将步骤A04中得到的特征与输入特征/>相加，得到特征/>；
步骤A06：对步骤A05中得到的特征进行ReLu操作，得到特征/>；
步骤A07：使用卷积核大小为3×3的深度可分离卷积对输入特征进行卷积操作，得到特征/>；
步骤A08：使用卷积核大小为1×1的卷积对步骤A07得到的特征进行卷积操作，得到特征/>；
步骤A09：将步骤A08得到的特征送入Transformer模块，在Transformer模块中首先将进行特征/>进行分块操作，将特征变为多个块，用/>表示；
其中表示Einops函数库中的/>函数；
步骤A10：在Transformer模块中，对步骤A09中得到的特征增加位置编码，得到特征/>；
其中表示PyTorch中的拼接操作，/>表示维度是1的使用PyTorch中randn函数生成的随机数编码；
步骤A11：将步骤A10得到的特征分别映射到/>矩阵；
其中为PyTorch框架中的nn.Linear线性映射函数，/>为查询，/>为键，为值。
步骤A12：计算步A11得到的特征矩阵的注意力，得到特征/>；
其中表示查询矩阵/>与键矩阵/>之间的欧氏距离；/>表示函数；
步骤A13：将步骤A08中得到的和步骤A12中得到的/>进行拼接操作，得到/>；
步骤A14：使用卷积核大小为3×3的深度可分离卷积对步骤A12得到的特征进行卷积操作，得到特征/>；
步骤A15：将步骤A06得到的特征与步骤A14得到的特征/>拼接，得到特征/>，即为Shuffle-vit模块的输出；
步骤A16：将步骤A06得到的特征与步骤A14得到的特征/>相加，得到特征/>，即为Shuffle-vit-a模块的输出。
可选地，对于第一切分图像或第二切分图像，使用Shuffle-vit-YOLO网络模型进行烟雾检测包括：
步骤B01：将步骤A01中读取到的图像特征图调整为640×640×3大小；
步骤B02：对步骤B01中得到的图像进行卷积操作，得到320×320×64大小的特征图；
步骤B03：对步骤B02中得到的特征图进行卷积操作并送入如步骤A01-步骤A14所对应的Shuffle-vit模块，得到160×160×128大小的特征图；
步骤B04：对步骤B03中得到的特征图进行卷积操作并送入如A01-A15所对应的Shuffle-vit模块，得到80×80×256大小的特征图；
步骤B05：对步骤B04中得到的特征图进行卷积操作并送入如A01-A15所对应的Shuffle-vit模块，得到40×40×512大小的特征图；
步骤B06：对步骤B05中得到的特征图进行卷积操作并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到20×20×1024大小的特征图；
步骤B07：对步骤B06中得到的特征图进行卷积操作，得到20×20×512大小的特征图；
步骤B08：对步骤B07中得到的特征图进行上采样操作，得到40×40×512大小的特征图；
步骤B09：将步骤B08中得到的特征图与步骤B05中得到的特征图拼接，得到40×40×1024大小的特征图；
步骤B10：将步骤B09中得到的特征图送入如步骤A01-步骤A16所对应的Shuffle-vit-a模块，得到40×40×512大小的特征图；
步骤B11：对步骤B10中得到的特征图进行卷积操作，得到40×40×256大小的特征图；
步骤B12：对步骤B11中得到的特征图进行上采样操作，得到80×80×256大小的特征图；
步骤B13：将步骤B12中得到的特征图与步骤B04中得到的特征图拼接，得到80×80×512大小的特征图；
步骤B14：将步骤B13中得到的特征图送入如步骤A01-步骤A16所对应的Shuffle-vit-a模块，得到80×80×256大小的特征图；
步骤B15：将步骤B14中得到的特征图送入YOLO head，得到第一尺寸烟雾的检测结果；
步骤B16：对步骤B14中得到的特征图进行卷积操作，得到40×40×256大小的特征图；
步骤B17：将步骤B16中得到的特征图与步骤B11中得到的特征图拼接，并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到40×40×512大小的特征图；
步骤B18：将步骤B17中得到的特征图送入YOLO head，得到第二尺寸烟雾的检测结果；第二尺寸大于第一尺寸；
步骤B19：对步骤B17中得到的特征图进行卷积操作，得到20×20×512大小的特征图；
步骤B20：将步骤B19中得到的特征图与步骤B07中得到的特征图拼接，并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到20×20×1024大小的特征图；
步骤B21：将步骤B20中得到的特征图送入YOLO head，得到第三尺寸烟雾的检测结果；第三尺寸大于第二尺寸；
步骤B22：综合步骤B15，步骤B18，步骤B21中的烟雾检测结果，输出最终检测到第一切分图像对应的第一烟雾边界框的坐标，或第二切分图像对应的第二烟雾边界框的坐标。
可选地，S5将各切分图像对应的烟雾检测结果聚合并显示在所述实时点云图像上包括：
将所述第一线程和第二线程分别检测到的第一烟雾边界框和第二烟雾边界框与所述实时点云图像进行融合，得到最终的烟雾报警场景图像。
本发明的基于激光雷达点云背景减除的火灾烟雾检测算法由数据获取、预处理、检测和融合四个步骤组成。数据获取，负责从激光雷达中实时获取数据；预处理，用于对传感器中采集的点云图像进行预处理；检测，即负责使用网络模型对预处理后的图像进行检测；融合，是用于将检测结果进行融合，得到最终的输出。本方法有效利用了激光雷达探测范围广、探测距离远、不受夜间光照暗的影响，具有准确率高，探测距离远，夜间监测效果好的优势。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例的整体流程示意图；
图2示出了本发明实施例的Shuffle-vit模块示意图；
图3示出了本发明实施例的检测模块示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于激光雷达点云背景减除的火灾烟雾检测方法，详细过程如下介绍。
步骤S1通过激光雷达获取监测场所中不存在烟雾时的点云图像，作为背景图像。
通过激光雷达获取监测场所未发生火灾，无烟雾状态的点云图像作为背景图像。
其中激光雷达硬件要求：
量程: 150m @ 10%反射率
视场角度: 120°（水平）× 25°（垂直）
角度分辨率: 0.18°（水平）×0.23°（垂直）
数据率：45 万点/秒
点云尺寸：4 pixel
步骤S2获取激光雷达获取的实时点云图像，基于所述背景图像对所述实时点云图像进行预处理。
S2-1：通过激光雷达获取监测场所实时点云图像，/>的分辨率为2048×1080。
S2-2：对步骤S2-1获得的实时点云图像与步骤S2--1得到的背景图像做差，得到背景减除后的第一点云图像/>。
步骤S2-3：对步骤S2-2获得的背景减除后的点云图像与S2-1得到的背景图像/>做差，得到背景减除后的第二点云图像/>。
步骤S2-4：对步骤步骤S2-3得到的背景减除后的图像进行闭运算，将得到的结果作为经过预处理的点云图像。
其中表示使用OpenCV中的MORPH_CLOSE函数。
步骤S3，将步骤S2经过预处理的点云图像进行切分，得到多个切分图像。本实施例中，将经过预处理的点云图像进行切分，得到两张切分图像，分别为第一切分图像和第二切分图像/>；所述第一切分图像和所述第二切分图像存在重叠区域。
其中表示将分辨率为2048×1080的图像切分为两部分/>和，尺寸均为1080×1080，中间有112×1080的区域为重叠区域。
S4使用训练好的网络模型分别对各切分图像进行烟雾检测，得到各切分图像对应的烟雾检测结果。
步骤S4-1：初始化两个线程：第一线程Thread1和第二线程Thread2分别读取步骤S3中得到第一切分图像和第二切分图像/>，主线程mainThread读取步骤S2未经预处理和切分的实时点云图像/>，共后续融合使用。
步骤S4-2：在步骤S4-1中初始化的第一线程Thread1和第二线程Thread2中分别对读取的图像第一切分图像和第二切分图像/>使用Shuffle-vit-YOLO网络模型进行烟雾检测。
Shuffle-vit-YOLO网络模型，即上述提及的训练好的网络模型，其由卷积、上采样、拼接、Shuffle-vit和Shuffle-vit-a模块构成。
其中Shuffle-vit和Shuffle-vit-a模块具体包括以下步骤：
步骤A01：使用卷积核大小为1×1的分组卷积对输入特征进行卷积操作，得到特征/>。
步骤A02：对A01得到的特征逐个通道使用PyTorch网络框架中的torch.transpose函数进行打散重组，得到特征/>。
步骤A03：使用卷积核大小为3×3的深度可分离卷积对A02得到的特征进行卷积操作，得到特征/>。
步骤A04：使用卷积核大小为1×1的分组卷积对输入特征进行卷积操作，得到特征/>。
步骤A05：将步骤A04中得到的特征与输入特征/>相加，得到特征/>。
步骤A06：对步骤A05中得到的特征进行ReLu操作，得到特征/>。
步骤A07：使用卷积核大小为3×3的深度可分离卷积对输入特征进行卷积操作，得到特征/>。
步骤A08：使用卷积核大小为1×1的卷积对步骤A07得到的特征进行卷积操作，得到特征/>。
步骤A09：将步骤A08得到的特征送入Transformer模块，在Transformer模块中首先将进行特征/>进行分块操作，将特征变为多个块，用/>表示。
其中表示Einops函数库中的/>函数。
步骤A10：在Transformer模块中，对步骤A09中得到的特征增加位置编码，得到特征/>。
其中表示PyTorch中的拼接操作，/>表示维度是1的使用PyTorch中randn函数生成的随机数编码。
步骤A11：将步骤A10得到的特征分别映射到/>（查询），/>（键），/>（值）矩阵。
其中为PyTorch框架中的nn.Linear线性映射函数。
步骤A12：计算步骤A11得到的特征矩阵的注意力，得到特征/>。
其中表示查询矩阵/>与键矩阵/>之间的欧氏距离，/>表示函数。
步骤A13：将步骤A08中得到的和步骤A12中得到的/>进行拼接操作，得到/>。
步骤A14：使用卷积核大小为3×3的深度可分离卷积对步骤A12得到的特征进行卷积操作，得到特征/>。
步骤A15：将步骤A06得到的特征与步骤A14得到的特征/>拼接，得到特征/>，即为Shuffle-vit模块的输出。
步骤A16：将A06得到的特征与步骤A14得到的特征/>相加，得到特征/>，即为Shuffle-vit-a模块的输出。
Shuffle-vit-YOLO网络模型具体包括以下步骤：
步骤B01：将步骤A01中读取到的图像特征图调整为640×640×3大小。
步骤B02：对步骤B01中得到的图像进行卷积操作，得到320×320×64大小的特征图。
步骤B03：对步骤B02中得到的特征图进行卷积操作并送入如步骤A01-步骤A14所对应的Shuffle-vit模块，得到160×160×128大小的特征图。
步骤B04：对步骤B03中得到的特征图进行卷积操作并送入如A01-A15所对应的Shuffle-vit模块，得到80×80×256大小的特征图。
步骤B05：对步骤B04中得到的特征图进行卷积操作并送入如A01-A15所对应的Shuffle-vit模块，得到40×40×512大小的特征图。
步骤B06：对步骤B05中得到的特征图进行卷积操作并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到20×20×1024大小的特征图。
步骤B07：对步骤B06中得到的特征图进行卷积操作，得到20×20×512大小的特征图。
步骤B08：对步骤B07中得到的特征图进行上采样操作，得到40×40×512大小的特征图。
步骤B09：将步骤B08中得到的特征图与步骤B05中得到的特征图拼接，得到40×40×1024大小的特征图。
步骤B10：将步骤B09中得到的特征图送入如步骤A01-步骤A16所对应的Shuffle-vit-a模块，得到40×40×512大小的特征图。
步骤B11：对步骤B10中得到的特征图进行卷积操作，得到40×40×256大小的特征图。
步骤B12：对步骤B11中得到的特征图进行上采样操作，得到80×80×256大小的特征图。
步骤B13：将步骤B12中得到的特征图与步骤B04中得到的特征图拼接，得到80×80×512大小的特征图。
步骤B14：将步骤B13中得到的特征图送入如步骤A01-步骤A16所对应的Shuffle-vit-a模块，得到80×80×256大小的特征图。
步骤B15：将步骤B14中得到的特征图送入YOLO head，得到小尺寸烟雾的检测结果。
步骤B16：对步骤B14中得到的特征图进行卷积操作，得到40×40×256大小的特征图。
步骤B17：将步骤B16中得到的特征图与步骤B11中得到的特征图拼接，并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到40×40×512大小的特征图。
步骤B18：将步骤B17中得到的特征图送入YOLO head，得到中等尺寸烟雾的检测结果。
步骤B19：对步骤B17中得到的特征图进行卷积操作，得到20×20×512大小的特征图。
步骤B20：将步骤B19中得到的特征图与步骤B07中得到的特征图拼接，并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到20×20×1024大小的特征图。
步骤B21：将步骤B20中得到的特征图送入YOLO head，得到大等尺寸烟雾的检测结果。
步骤B22：综合步骤B15，步骤B18，步骤B21中的烟雾检测结果，输出最终检测到的烟雾的边界框的坐标。
S5将各切分图像对应的烟雾检测结果聚合并显示在所述实时点云图像上。
将所述第一线程Thread1和第二线程Thread2分别检测到的第一烟雾边界框和第二烟雾边界框与所述实时点云图像进行融合，得到最终的烟雾报警场景图像。
本发明实施例的基于激光雷达点云背景减除的火灾烟雾检测方法，有效利用了激光雷达探测范围广、探测距离远、不受夜间光照暗的影响，有效利用了传感器采集到的点云回波数据，具有准确率高，探测距离远，夜间监测效果好的优势。
所属领域的技术人员可以清楚地了解到，上述描述的***、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备（例如个人计算机，服务器，或者网络设备等）在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM）、随机存取存储器（RAM），磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件（诸如个人计算机，服务器，或者网络设备等的计算设备）来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
Claims (4)
1.一种基于激光雷达点云背景减除的火灾烟雾检测方法，其特征在于，包括：
S1：通过激光雷达获取监测场所中不存在烟雾时的点云图像，作为背景图像；
S2：获取激光雷达获取的实时点云图像，基于所述背景图像对所述实时点云图像进行预处理；
S3：将经过预处理的点云图像进行切分，得到多个切分图像；
S4：使用训练好的网络模型分别对各切分图像进行烟雾检测，得到各切分图像对应的烟雾检测结果；
S5：将各切分图像对应的烟雾检测结果聚合并显示在所述实时点云图像上；
步骤S3将经过预处理的点云图像进行切分，得到多个切分图像包括：将经过预处理的点云图像进行切分，得到两张切分图像，分别为第一切分图像和第二切分图像；所述第一切分图像和所述第二切分图像存在重叠区域；
步骤S4使用训练好的网络模型分别对各切分图像进行烟雾检测，得到各切分图像对应的烟雾检测结果包括：初始化两个线程，包括第一线程和第二线程；通过所述第一线程和第二线程分别读取述第一切分图像和第二切分图像；使用Shuffle-vit-YOLO网络模型分别对所述第一线程和第二线程读取的所述第一切分图像和所述第二切分图像进行烟雾检测，以得到所述第一切分图像对应的第一烟雾检测框和第二切分图像对应的第二烟雾检测框；所述Shuffle-vit-YOLO网络模型由卷积、上采样、拼接、Shuffle-vit模块和Shuffle-vit-a模块构成；
所述Shuffle-vit模块和Shuffle-vit-a模块具体执行以下步骤：
步骤A01：使用卷积核大小为1×1的分组卷积对输入特征x进行卷积操作，得到特征x1；
步骤A02：对步骤A01得到的特征x1逐个通道使用PyTorch网络框架中的torch.transpose函数进行打散重组，得到特征x2；
步骤A03：使用卷积核大小为3×3的深度可分离卷积对步骤A02得到的特征x2进行卷积操作，得到特征x3；
步骤A04：使用卷积核大小为1×1的分组卷积对输入特征x3进行卷积操作，得到特征x4；
步骤A05：将步骤A04中得到的特征x4与输入特征x相加，得到特征x5；
步骤A06：对步骤A05中得到的特征x5进行ReLu操作，得到特征x6；
步骤A07：使用卷积核大小为3×3的深度可分离卷积对输入特征x进行卷积操作，得到特征y1；
步骤A08：使用卷积核大小为1×1的卷积对步骤A07得到的特征y1进行卷积操作，得到特征y2；
步骤A09：将步骤A08得到的特征y2送入Transformer模块，在Transformer模块中首先将进行特征y2进行分块操作，将特征变为多个块，用y3表示；
y3＝rearrange(y2)
其中rearrange表示Einops函数库中的rearrange函数；
步骤A10：在Transformer模块中，对步骤A09中得到的特征y3增加位置编码，得到特征y4；
y4＝concat(y3,token)
其中concat(·)表示PyTorch中的拼接操作，token表示维度是1的使用PyTorch中randn函数生成的随机数编码；
步骤A11：将步骤A10得到的特征y4分别映射到q,k,v矩阵；
q,k,v＝Linear(y4)
其中Linear(·)为PyTorch框架中的nn.Linear线性映射函数，q为查询，k为键，v为值；
步骤A12：计算步A11得到的特征矩阵q,k,v的注意力，得到特征y5；
其中d表示查询矩阵q与键矩阵k之间的欧氏距离；softmax(·)表示softmax函数；
步骤A13：将步骤A08中得到的y2和步骤A12中得到的y5进行拼接操作，得到y6；
步骤A14：使用卷积核大小为3×3的深度可分离卷积对步骤A12得到的特征y6进行卷积操作，得到特征y7；
步骤A15：将步骤A06得到的特征x6与步骤A14得到的特征y7拼接，得到特征z2，即为Shuffle-vit模块的输出；
步骤A16：将步骤A06得到的特征x6与步骤A14得到的特征y7相加，得到特征z1，即为Shuffle-vit-a模块的输出。
2.根据权利要求1所述的方法，其特征在于，步骤S2中基于所述背景图像对所述实时点云图像进行预处理包括：
将所述背景图像和所述实时点云图像作差，得到背景减除后的第一点云图像；
对所述背景减除后的点云图像再次与背景图像作差，得到第二点云图像；
使用OpenCV中的MORPH_CLOSE函数对所述第二点云图像进行闭运算，得到预处理后的点云图像。
3.根据权利要求1所述的方法，其特征在于，对于第一切分图像或第二切分图像，使用Shuffle-vit-YOLO网络模型进行烟雾检测包括：
步骤B01：将步骤A01中读取到的图像特征图调整为640×640×3大小；
步骤B02：对步骤B01中得到的图像进行卷积操作，得到320×320×64大小的特征图；
步骤B03：对步骤B02中得到的特征图进行卷积操作并送入如步骤A01-步骤A14所对应的Shuffle-vit模块，得到160×160×128大小的特征图；
步骤B04：对步骤B03中得到的特征图进行卷积操作并送入如A01-A15所对应的Shuffle-vit模块，得到80×80×256大小的特征图；
步骤B05：对步骤B04中得到的特征图进行卷积操作并送入如A01-A15所对应的Shuffle-vit模块，得到40×40×512大小的特征图；
步骤B06：对步骤B05中得到的特征图进行卷积操作并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到20×20×1024大小的特征图；
步骤B07：对步骤B06中得到的特征图进行卷积操作，得到20×20×512大小的特征图；
步骤B08：对步骤B07中得到的特征图进行上采样操作，得到40×40×512大小的特征图；
步骤B09：将步骤B08中得到的特征图与步骤B05中得到的特征图拼接，得到40×40×1024大小的特征图；
步骤B10：将步骤B09中得到的特征图送入如步骤A01-步骤A16所对应的Shuffle-vit-a模块，得到40×40×512大小的特征图；
步骤B11：对步骤B10中得到的特征图进行卷积操作，得到40×40×256大小的特征图；
步骤B12：对步骤B11中得到的特征图进行上采样操作，得到80×80×256大小的特征图；
步骤B13：将步骤B12中得到的特征图与步骤B04中得到的特征图拼接，得到80×80×512大小的特征图；
步骤B14：将步骤B13中得到的特征图送入如步骤A01-步骤A16所对应的Shuffle-vit-a模块，得到80×80×256大小的特征图；
步骤B15：将步骤B14中得到的特征图送入YOLO head，得到第一尺寸烟雾的检测结果；
步骤B16：对步骤B14中得到的特征图进行卷积操作，得到40×40×256大小的特征图；
步骤B17：将步骤B16中得到的特征图与步骤B11中得到的特征图拼接，并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到40×40×512大小的特征图；
步骤B18：将步骤B17中得到的特征图送入YOLO head，得到第二尺寸烟雾的检测结果；第二尺寸大于第一尺寸；
步骤B19：对步骤B17中得到的特征图进行卷积操作，得到20×20×512大小的特征图；
步骤B20：将步骤B19中得到的特征图与步骤B07中得到的特征图拼接，并送入如步骤A01-步骤A15所对应的Shuffle-vit模块，得到20×20×1024大小的特征图；
步骤B21：将步骤B20中得到的特征图送入YOLO head，得到第三尺寸烟雾的检测结果；第三尺寸大于第二尺寸；
步骤B22：综合步骤B15，步骤B18，步骤B21中的烟雾检测结果，输出最终检测到第一切分图像对应的第一烟雾边界框的坐标，或第二切分图像对应的第二烟雾边界框的坐标。
4.根据权利要求1-3中任一项所述的方法，其特征在于，S5将各切分图像对应的烟雾检测结果聚合并显示在所述实时点云图像上包括：
将所述第一线程和第二线程分别检测到的第一烟雾边界框和第二烟雾边界框与所述实时点云图像进行融合，得到最终的烟雾报警场景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310874836.3A CN116977634B (zh) | 2023-07-17 | 2023-07-17 | 基于激光雷达点云背景减除的火灾烟雾检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310874836.3A CN116977634B (zh) | 2023-07-17 | 2023-07-17 | 基于激光雷达点云背景减除的火灾烟雾检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977634A CN116977634A (zh) | 2023-10-31 |
| CN116977634B true CN116977634B (zh) | 2024-01-23 |
Family
ID=88470619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310874836.3A Active CN116977634B (zh) | 2023-07-17 | 2023-07-17 | 基于激光雷达点云背景减除的火灾烟雾检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977634B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
| CN112633231A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种火灾识别的方法和装置 |
| CN112861635A (zh) * | 2021-01-11 | 2021-05-28 | 西北工业大学 | 一种基于深度学习的火灾及烟雾实时检测方法 |
| CN113537226A (zh) * | 2021-05-18 | 2021-10-22 | 哈尔滨理工大学 | 一种基于深度学习的烟雾检测方法 |
| CN113793472A (zh) * | 2021-09-15 | 2021-12-14 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
| CN114386493A (zh) * | 2021-12-27 | 2022-04-22 | 天翼物联科技有限公司 | 基于火焰视觉虚化性的火灾检测方法、***、装置及介质 |
| CN114677406A (zh) * | 2021-11-29 | 2022-06-28 | 西安交远能源科技有限公司 | 利用累计帧差与色彩统计从视频流中识别石油火焰的方法 |
| CN114972732A (zh) * | 2022-05-17 | 2022-08-30 | 深圳市爱深盈通信息技术有限公司 | 一种烟火检测方法、装置、设备及计算机可读存储介质 |
| CN115082817A (zh) * | 2021-03-10 | 2022-09-20 | 中国矿业大学(北京) | 一种基于改进卷积神经网络的火焰识别和检测方法 |
| CN116092259A (zh) * | 2023-01-19 | 2023-05-09 | 北醒（北京）光子科技有限公司 | 烟雾识别方法、处理方法、装置、存储介质及电子设备 |
| CN116189037A (zh) * | 2022-12-23 | 2023-05-30 | 深圳太极数智技术有限公司 | 一种火焰检测的识别方法、装置及终端设备 |
| CN116434002A (zh) * | 2023-03-24 | 2023-07-14 | 国网河北省电力有限公司电力科学研究院 | 基于轻量级神经网络的烟雾检测方法、***、介质和设备 |
-
2023
- 2023-07-17 CN CN202310874836.3A patent/CN116977634B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
| CN112633231A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种火灾识别的方法和装置 |
| CN112861635A (zh) * | 2021-01-11 | 2021-05-28 | 西北工业大学 | 一种基于深度学习的火灾及烟雾实时检测方法 |
| CN115082817A (zh) * | 2021-03-10 | 2022-09-20 | 中国矿业大学(北京) | 一种基于改进卷积神经网络的火焰识别和检测方法 |
| CN113537226A (zh) * | 2021-05-18 | 2021-10-22 | 哈尔滨理工大学 | 一种基于深度学习的烟雾检测方法 |
| CN113793472A (zh) * | 2021-09-15 | 2021-12-14 | 应急管理部沈阳消防研究所 | 基于特征深度聚合网络的图像型火灾探测器位姿估计方法 |
| CN114677406A (zh) * | 2021-11-29 | 2022-06-28 | 西安交远能源科技有限公司 | 利用累计帧差与色彩统计从视频流中识别石油火焰的方法 |
| CN114386493A (zh) * | 2021-12-27 | 2022-04-22 | 天翼物联科技有限公司 | 基于火焰视觉虚化性的火灾检测方法、***、装置及介质 |
| CN114972732A (zh) * | 2022-05-17 | 2022-08-30 | 深圳市爱深盈通信息技术有限公司 | 一种烟火检测方法、装置、设备及计算机可读存储介质 |
| CN116189037A (zh) * | 2022-12-23 | 2023-05-30 | 深圳太极数智技术有限公司 | 一种火焰检测的识别方法、装置及终端设备 |
| CN116092259A (zh) * | 2023-01-19 | 2023-05-09 | 北醒（北京）光子科技有限公司 | 烟雾识别方法、处理方法、装置、存储介质及电子设备 |
| CN116434002A (zh) * | 2023-03-24 | 2023-07-14 | 国网河北省电力有限公司电力科学研究院 | 基于轻量级神经网络的烟雾检测方法、***、介质和设备 |
Non-Patent Citations (3)
| Title |
|---|
| Early Wildfire Smoke Detection Using Different YOLO Models;Yazan Al-Smadi 等;《machines》;第11卷;1-18 * |
| 基于视频图像的火灾检测算法研究;董文奇;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》(第02期);B026-51 * |
| 针对弱小无人机目标的轻量级目标检测算法;蒋镕圻 等;《激光与光电子学进展》;第59卷(第8期);1-12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977634A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111033231B (zh) | 用于量化气体泄漏的***和方法 | |
| Krstinić et al. | Histogram-based smoke segmentation in forest fire detection system | |
| CA3099173A1 (en) | Infrared imaging systems and methods for gas leak detection | |
| WO2019213279A1 (en) | Infrared imaging systems and methods for oil leak detection | |
| Ko et al. | Survey of computer vision–based natural disaster warning systems | |
| CN112113913B (zh) | 一种基于背景阈值的Himawari8陆地火点探测算法 | |
| CN105554440A (zh) | 监控方法和设备 | |
| EP2686667A2 (en) | Mwir sensor for flame detection | |
| US9076032B1 (en) | Specularity determination from images | |
| US20220035003A1 (en) | Method and apparatus for high-confidence people classification, change detection, and nuisance alarm rejection based on shape classifier using 3d point cloud data | |
| CN116153016B (zh) | 一种多传感器融合森林火灾实时监测与预警装置及其方法 | |
| US11927944B2 (en) | Method and system for connected advanced flare analytics | |
| CN116977634B (zh) | 基于激光雷达点云背景减除的火灾烟雾检测方法 | |
| Kustu et al. | Deep learning and stereo vision based detection of post-earthquake fire geolocation for smart cities within the scope of disaster management: İstanbul case | |
| JP6325643B2 (ja) | モニタリングシステムにおける信頼性を高めるための方法 | |
| Wan et al. | Cloud classification for ground-based sky image using random forest | |
| Saito et al. | Cloud discrimination from sky images using a clear-sky index | |
| Liu et al. | BriGuard: A lightweight indoor intrusion detection system based on infrared light spot displacement | |
| KR102209866B1 (ko) | 지상기반 전운량 자동 산출을 위한 왜곡 영상 전처리 방법 | |
| Fang et al. | Smart motion detection surveillance system | |
| CN112215122A (zh) | 基于视频图像目标检测的火灾检测方法、***、终端以及存储介质 | |
| Mohammed et al. | Implementation of human detection on raspberry pi for smart surveillance | |
| Shi et al. | Research on the dehazing effect of orthogonal polarization method based on atmospheric scattering model and considering extinction ratio parameter | |
| KR20090008621A (ko) | 중요 움직임 검출 방법 및 장치 | |
| US20210318221A1 (en) | Airborne particulate density determination using standard user equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |