CN111797761B - 一种三阶段烟雾检测***、方法及可读介质 - Google Patents

一种三阶段烟雾检测***、方法及可读介质 Download PDF

Info

Publication number
CN111797761B
CN111797761B CN202010633850.0A CN202010633850A CN111797761B CN 111797761 B CN111797761 B CN 111797761B CN 202010633850 A CN202010633850 A CN 202010633850A CN 111797761 B CN111797761 B CN 111797761B
Authority
CN
China
Prior art keywords
smoke
smoke detection
neural network
video
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010633850.0A
Other languages
English (en)
Other versions
CN111797761A (zh
Inventor
罗胜
黄长城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Zhishi Technology Co ltd
Original Assignee
Wenzhou Zhishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Zhishi Technology Co ltd filed Critical Wenzhou Zhishi Technology Co ltd
Priority to CN202010633850.0A priority Critical patent/CN111797761B/zh
Publication of CN111797761A publication Critical patent/CN111797761A/zh
Application granted granted Critical
Publication of CN111797761B publication Critical patent/CN111797761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明涉及烟雾检测技术领域，具体涉及一种三阶段烟雾检测***、方法及可读介质，包括S1利用摄像机获取待检测视频，并对视频进行分块处理得到多个图像块；S2对获取的图像块采用卷积神经网络抽取静态的空间特征；S3采用循环神经网络对视频中多个连续图像块的静态空间特征抽取动态的时间特征；S4综合多个图像块的动态时间特征，判断场景中是否发生了烟雾；S5输出结果，对发生烟雾的区域进行警报处理，完成检测。本发明利用烟雾颜色/纹理等静态的空间特征和闪烁/频率等动态时间特征以及场景升腾、翻滚等综合时空的运动特征，并且将图像分块，提高了检测的分辨能力，可精准检测早期的小而薄的烟雾，极大的提高了烟雾判断的准确率，降低了误报。

Description

一种三阶段烟雾检测***、方法及可读介质
技术领域
本发明涉及烟雾检测技术领域，具体涉及一种三阶段烟雾检测***、方法及可读介质。
背景技术
目前基于深度学习的烟雾检测，大致有以下两类方法：(1)基于卷积神经网络抽取静态特征的方法，能够避免传统方法中对人工特征的依赖，能够自动地获取传统技术难以获取的高层特征，能够达到比较高的识别率；(2)基于循环神经网络抽取动态特征的方法，能够抽火灾从阴燃到爆发过程中的发展变化，能够排除静止的近似烟雾，能够达到比较高的准确率。也有结合这两种方法，采用卷积神经网络抽取每帧的静态特征，然后采用循环神经网络抽取连续帧的动态特征，以达到更高的准确率。无论是这两种方法，还是两种方法的综合方法，往往都是通用的方法，对包括各种场景综合样本集的统计准确率比较高；但是针对每种场景，都还有漏报和误报，在现实应用中带来了困扰。
烟雾除了颜色/纹理等静态的空间特征、闪烁/频率等动态时间特征外，还有在场景中升腾、翻滚等综合时空两方面的运动特征，而这种特征无法用一个像素点或者像素块的运动来表态，必须综合全场景的像素点或者像素块的运动来表态。有些研究中采用光流场来分析这种运动。但是对于火灾早期的薄烟，光流场并不显著，因此采用光流场分析的方法效果并不理想。
发明内容
针对现有技术的不足，本发明公开了一种三阶段烟雾检测***、方法及可读介质，用于解决烟雾除了颜色/纹理等静态的空间特征、闪烁/频率等动态时间特征外，还有在场景中升腾、翻滚等综合时空两方面的运动特征，而这种特征无法用一个像素点或者像素块的运动来表态，必须综合全场景的像素点或者像素块的运动来表态。有些研究中采用光流场来分析这种运动。但是对于火灾早期的薄烟，光流场并不显著，因此采用光流场的方法效果并不理想。
本发明通过以下技术方案予以实现：
第一方面，本发明公开一种三阶段烟雾检测方法，所述方法包括以下步骤：
S1利用摄像机获取待检测视频，并对视频进行分块处理得到多个图像块；
S2对获取的图像采用卷积神经网络抽取静态的空间特征；
S3采用循环神经网络对视频中多个连续图像块的静态空间特征抽取动态的时间特征；；
S4采用循环神经网络综合多个像素块的运动，判断场景中是否发生了烟雾；
S5输出结果，对发生烟雾的区域进行警报处理，完成检测。
更进一步的，所述S1中，对视频进行分块处理具体为，将视频流第t帧分割成n×m个小块，每个小块为b×b的三通道图像。
更进一步的，所述S2中，采用卷积神经网络将每个b×b的三通道图像块抽取成a×a×q的静态特征图(a>1)，然后将a×a×q静态特征图展平成1×a2×q维静态特征fcnn，进而得到图像块的静态空间特征。
更进一步的，所述S3中，将连续帧、相应块的c个1×a2×q维静态特征fcnn输入循环神经网络LDCN抽取图像块的d维局部动态特征hst，进而得到图像动态的时间特征。
更进一步的，所述S4包括以下子步骤：
S4a对每个图像块的d维局部动态特征hst，经过全连接层FN1，输出e维局部动态特征fst；
S4b将每个图像块的局部动态特征fst按在帧中抽取图像块的位置，合并成帧的局部动态特征矩阵MLDF；
S4c将局部动态特征矩阵展平，成1、n×m×e维特征向量fLDF；
S4d将连续c帧的特征向量fLDF输入循环神经网络JDCN抽取全局动态特征hft；
S4e经过全连接网络FN2，输入全局动态特征hft，输入结果r，判断当前帧中是否存在烟、火。
第二方面，本发明公开一种三阶段烟雾检测***，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器硬件执行第一方面所述的三阶段烟雾检测方法。
第三方面，本发明公开一种可读介质，包括执行指令，当三阶段烟雾检测***的处理器执行所述执行指令时，所述三阶段烟雾检测***执行第一方面所述的三阶段烟雾检测方法。
本发明的有益效果为
本发明不但利用烟雾颜色/纹理等静态的空间特征，还利用了闪烁/频率等动态时间特征，同时也利用了场景升腾、翻滚等综合时空两方面的运动特征，并且将图像分块，可以提高检测的分辨能力，有利于检测早期的小而薄的烟雾，极大的提高了烟雾判断的准确率，降低了误报，具有很强的市场应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种三阶段烟雾检测方法的原理步骤图；
图2是本发明实施例三阶段烟雾检测网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例公开如图1所示的一种三阶段烟雾检测方法，包括以下步骤：
S1利用摄像机获取待检测视频，并对视频进行分块处理得到多个图像块；
S2对获取的图像采用卷积神经网络抽取静态的空间特征；
S3采用循环神经网络对视频中多个连续图像块的静态空间特征抽取动态的时间特征；；
S4采用循环神经网络综合多个像素块的运动，判断场景中是否发生了烟雾；
S5输出结果，对发生烟雾的区域进行警报处理，完成检测。
S1中，对分辨率为1024×960视频进行分块处理，将视频流第t帧分割成16×15个小块，每个小块为64×64的三通道图像。
S2中，采用卷积神经网络将每个64×64的三通道图像块抽取成8×8×2的静态特征图，然后将8×8静态特征图展平成128维静态特征fcnn，进而得到图像静态的空间特征。
S3中，将连续帧、相应块的11个128维静态特征fcnn输入循环神经网络LDCN抽取图像块的7维局部动态特征hst，进而得到图像动态的时间特征。
S4包括以下子步骤：
S4a对每个图像块的7维局部动态特征hst，经过全连接层FN1，输出2维局部动态特征fst；
S4b将每个图像块的局部动态特征fst按在帧中抽取图像块的位置，合并成帧的局部动态特征矩阵MLDF；
S4c将局部动态特征矩阵展平，成480维特征向量fLDF；
S4d将连续11帧的特征向量fLDF输入循环神经网络JDCN抽取全局动态特征hft；
S4e经过全连接网络FN2，输入全局动态特征hft，输入结果r，判断当前帧中是否存在烟、火。
本实施例利用烟雾颜色/纹理等静态的空间特征和闪烁/频率等动态时间特征以及场景升腾、翻滚等综合时空的运动特征，并且将图像分块，可以提高检测的分辨能力，有利于检测早期的小而薄的烟雾，极大的提高了烟雾判断的准确率，降低了误报。
实施例2
本实施例公开三阶段检测烟雾的方法：在第一阶段，先采用卷积神经网络抽取静态的空间特征；在第二阶段，采用循环神经网络抽取动态的时间特征；第三阶段，采用循环神经网络综合多个像素块的运动，判断场景中是否发生了烟雾。
网络结构如图2所示，计算步骤如下：
(1)将视频流第t帧分割成n×m个小块，每个小块为b×b的三通道图像，如图2中1所示；
(2)采用卷积神经网络将每个b×b的三通道图像块抽取成a×a×q的静态特征图(a>1)，然后将a×a×q静态特征图展平成1×a2×q维静态特征fcnn，如图2中2所示；
(3)将连续帧、相应块的c个1×a2×q维静态特征fcnn输入循环神经网络LDCN抽取图像块的d维局部动态特征hst，如图2中3所示；
(4)对每个图像块的d维局部动态特征hst，经过全连接层FN1，输出e维局部动态特征fst，如图2中4所示；
(5)将每个图像块的局部动态特征fst按在帧中抽取图像块的位置，合并成帧的局部动态特征矩阵MLDF，如图2中5所示；
(6)将局部动态特征矩阵展平，成1、n×m×e维特征向量fLDF，如图2中6所示；
(7)将连续c帧的特征向量fLDF输入循环神经网络JDCN抽取全局动态特征hft，如图2中7所示；
(8)经过全连接网络FN2，输入全局动态特征hft，输入结果r，判断当前帧中是否存在烟、火，如图2中8所示。
其中第2步实现第一阶段用卷积神经网络抽取静态的空间特征，第3步实现第二阶段用循环神经网络抽取动态的时间特征，第7步实现第三阶段用循环神经网络分析场景中多个像素块的运动。
实施例3
本实施例公开一种三阶段烟雾检测***，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器硬件执行三阶段烟雾检测方法。
实施例4
本实施例公开一种可读介质，包括执行指令，当三阶段烟雾检测***的处理器执行所述执行指令时，所述三阶段烟雾检测***执行三阶段烟雾检测方法。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种三阶段烟雾检测方法，其特征在于，所述方法包括以下步骤：
S1利用摄像机获取待检测视频，并对视频进行分块处理得到多个图像块；
S2对获取的每个图像块采用卷积神经网络抽取静态空间特征；
S3将视频中多个连续图像块的静态空间特征输入循环神经网络LDCN抽取图像块的d维局部动态特征hst；
S4a对每个图像块的d维局部动态特征hst，经过全连接层FN1，输出e维局部动态特征fst；
S4b将每个图像块的局部动态特征fst按在帧中抽取图像块的位置，合并成帧的局部动态特征矩阵MLDF；
S4c将局部动态特征矩阵MLDF展平得到特征向量fLDF；
S4d将连续c帧的特征向量fLDF输入循环神经网络JDCN抽取全局动态特征hft；
S4e经过全连接网络FN2，输入全局动态特征hft，根据输出结果r，判断当前帧中是否存在烟、火；
S5对发生烟雾的区域进行警报处理，完成检测。
2.根据权利要求1所述的三阶段烟雾检测方法，其特征在于，所述S1中，对视频进行分块处理具体为，将视频流第t帧分割成n×m个小块，每个小块为b×b的三通道图像块。
3.根据权利要求1所述的三阶段烟雾检测方法，其特征在于，所述S2中，采用卷积神经网络将每个b×b的三通道图像块抽取成a×a×q的静态特征图，其中a>1，然后将a×a×q静态特征图展平成1×a2×q维静态特征fcnn，进而得到图像块的静态空间特征。
4.根据权利要求1所述的三阶段烟雾检测方法，其特征在于，所述S3中，将连续帧、相应块的c个1×a2×q维静态特征fcnn输入循环神经网络LDCN抽取图像块的d维局部动态特征hst，进而得到图像块动态的时间特征。
5.一种三阶段烟雾检测***，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器硬件执行如权利要求1至4中任一所述的三阶段烟雾检测方法。
6.一种可读介质，包括执行指令，当三阶段烟雾检测***的处理器执行所述执行指令时，所述三阶段烟雾检测***执行如权利要求1至4中任一所述的三阶段烟雾检测方法。
CN202010633850.0A 2020-07-02 2020-07-02 一种三阶段烟雾检测***、方法及可读介质 Active CN111797761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010633850.0A CN111797761B (zh) 2020-07-02 2020-07-02 一种三阶段烟雾检测***、方法及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010633850.0A CN111797761B (zh) 2020-07-02 2020-07-02 一种三阶段烟雾检测***、方法及可读介质

Publications (2)

Publication Number Publication Date
CN111797761A CN111797761A (zh) 2020-10-20
CN111797761B true CN111797761B (zh) 2023-05-16

Family

ID=72811163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010633850.0A Active CN111797761B (zh) 2020-07-02 2020-07-02 一种三阶段烟雾检测***、方法及可读介质

Country Status (1)

Country Link
CN (1) CN111797761B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117931503A (zh) * 2024-03-25 2024-04-26 华能澜沧江水电股份有限公司 基于相似数据预查询的集控平台容错性分析***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715559A (zh) * 2015-03-06 2015-06-17 温州大学 一种基于轨迹辨识的烟雾检测及火灾预警方法
CN108428324A (zh) * 2018-04-28 2018-08-21 温州大学激光与光电智能制造研究院 一种基于卷积网络的火灾场景中烟雾的检测装置
CN109190543A (zh) * 2018-08-27 2019-01-11 温州大学激光与光电智能制造研究院 基于分块的轻便网络的烟检测方法
CN109272511A (zh) * 2018-08-27 2019-01-25 温州大学激光与光电智能制造研究院 基于分块的轻便网络的烟检测装置
CN110503021A (zh) * 2019-08-19 2019-11-26 温州大学 基于时间压缩轨迹特征识别的火灾烟雾检测方法
CN111310566A (zh) * 2020-01-16 2020-06-19 国网山西省电力公司电力科学研究院 一种静动态多特征融合的山火检测方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715559A (zh) * 2015-03-06 2015-06-17 温州大学 一种基于轨迹辨识的烟雾检测及火灾预警方法
CN108428324A (zh) * 2018-04-28 2018-08-21 温州大学激光与光电智能制造研究院 一种基于卷积网络的火灾场景中烟雾的检测装置
CN109190543A (zh) * 2018-08-27 2019-01-11 温州大学激光与光电智能制造研究院 基于分块的轻便网络的烟检测方法
CN109272511A (zh) * 2018-08-27 2019-01-25 温州大学激光与光电智能制造研究院 基于分块的轻便网络的烟检测装置
CN110503021A (zh) * 2019-08-19 2019-11-26 温州大学 基于时间压缩轨迹特征识别的火灾烟雾检测方法
CN111310566A (zh) * 2020-01-16 2020-06-19 国网山西省电力公司电力科学研究院 一种静动态多特征融合的山火检测方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Slight Smoke Perceptual Network;SHENG LUO 等;《IEEE Access》;20190430;全文 *
基于级联卷积神经网络的视频动态烟雾检测;陈俊周等;《电子科技大学学报》;20161130(第06期);全文 *
时间压缩轨迹特征识别的火灾烟雾检测;罗胜 等;《中国图象图形学报》;20191030;第24卷(第10期);全文 *

Also Published As

Publication number Publication date
CN111797761A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
Ullah et al. Intelligent dual stream CNN and echo state network for anomaly detection
CN111027549A (zh) 一种针对女上装关键点识别方法
CN107330390B (zh) 一种基于图像分析和深度学习的人数统计方法
CN111126379A (zh) 一种目标检测方法与装置
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN109859246B (zh) 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN115761568A (zh) 一种基于YOLOv7网络和Deepsort网络的猕猴检测方法
Zhou et al. A study on attention-based LSTM for abnormal behavior recognition with variable pooling
CN111401267A (zh) 基于自学习局部特征表征的视频行人再识别方法及***
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
CN111797761B (zh) 一种三阶段烟雾检测***、方法及可读介质
Dahirou et al. Motion Detection and Object Detection: Yolo (You Only Look Once)
CN114120076B (zh) 基于步态运动估计的跨视角视频步态识别方法
CN112907621B (zh) 一种基于差分和语义信息融合的运动目标提取方法
CN112255141B (zh) 一种热成像气体监测***
Kalboussi et al. A spatiotemporal model for video saliency detection
CN111860229A (zh) 异常行为智能识别方法及其装置和存储介质
Lin et al. Dual-mode iterative denoiser: tackling the weak label for anomaly detection
CN112149683B (zh) 夜视环境下活物检测方法及装置
Nagmode et al. A novel approach to detect and track moving object using Partitioning and Normalized Cross Correlation
US20210357629A1 (en) Video processing apparatus and video processing method
Yuan et al. A Smoke Recognition Method Combined Dynamic Characteristics and Color Characteristics of Large Displacement Area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant