CN112329549A - 一种用于水电厂区的火焰识别方法 - Google Patents
一种用于水电厂区的火焰识别方法 Download PDFInfo
- Publication number
- CN112329549A CN112329549A CN202011107574.0A CN202011107574A CN112329549A CN 112329549 A CN112329549 A CN 112329549A CN 202011107574 A CN202011107574 A CN 202011107574A CN 112329549 A CN112329549 A CN 112329549A
- Authority
- CN
- China
- Prior art keywords
- flame
- area
- picture
- power plant
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 16
- 238000013145 classification model Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 241000196324 Embryophyta Species 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 241000872198 Serjania polyphylla Species 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于水电厂区的火焰识别方法,包括:S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警;其中,所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。该方法不需要对每帧图进行检测,火焰分类的样本数据不必依赖厂区背景因此容易收集,此方法能准确检测大、小火焰,精确率高、召回率高,速度快。
Description
技术领域
本发明涉及水电站安全监测技术,具体地讲,是涉及一种用于水电厂区的火焰识别方法。
背景技术
水电厂区内通常会安装很多摄像头,用于安防监控,由相关工作人员值守,并由工作人员去实时监控发现问题,及时报警。由于摄像头多,视频多,人工去看实时视频发现问题显得效率低,而且长时间人员视觉容易疲劳,突发事件可能没及时发现或遗漏,造成损失。
其中火源火焰是可能危及水电厂区生产运行安全的一个重要因素。现有技术有基于火焰的特征如频闪、尖角、圆形度、颜色、闪烁移动等特征融合的方法,但这种传统方法需要人工去定义火焰的特征,容易受到外部环境如光照、人员走动、图片背景等的干扰,而且容易遗漏,召回率较低,而对于水电场景下要求火焰检测精确率高、召回率高,发生火警一定要及时报出,不能遗漏,这种传统提取火焰特征的方法就有很大局限性。也有基于深度学习的火焰目标检测方法,针对视频中的每一帧图像进行目标检测,这种方法要求足够多的样本进行训练,但水电厂的火焰样本非常少;再加上视频图片尺寸较大,监控拍摄存在一定距离,火焰有时在图像中面积占比较小,而基于深度学习的目标检测往往对小目标的检测准确率不高;另外对每一帧都进行目标检测,资源消耗大。还有基于视频流的运动目标检测加火焰特征识别的方法,虽然减少了不必要的检测,但使用传统图像特征漏检多,厂区内人员走动,与火焰特征相似的安全帽或服装等都容易造成误判。
发明内容
针对上述现有技术中的上述问题,本发明提供一种精确率高、召回率高的用于水电厂区的火焰识别方法。
为了实现上述目的,本发明采用的技术方案如下:
一种用于水电厂区的火焰识别方法,包括以下步骤:
S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;其中,KNN是指K Nearest Neighbors算法;
S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警;
其中,所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。
具体地,所述步骤S10具体包括:
S11、实时获取水电厂区内各个摄像头的视频流;
S12、采用OPENCV2软件的createBackgroundSubtractorKNN函数,通过设置训练的帧数、阴影检测获得背景,再计算获得当前图片的前景掩码;
S13、对前景区域二值化,将非白色的非前景区域均设置为0,白色的前景区域设置为255;
S14、对二值化后的前景区域进行图像形态上的处理,通过腐蚀、膨胀操作,消除噪声;
S15、对二值化后的图片利用cv2.findContours函数获得矩形轮廓坐标,该获得的矩形轮廓对象即为图片中的运动目标;
S16、根据矩形轮廓坐标从原图中提取对应的矩形区域,形成运动目标区域的区域图片。
所述步骤S12中,训练的帧数为15-30帧。
所述步骤S13中,定义非白色的像素值为0-244,白色的像素值为244-255。
所述步骤S16中,提取出矩形区域的图片后,先根据该图片的宽高对图片周围进行填充,使用像素值为0的黑色进行填充,然后将其缩放为指定尺寸,形式所述区域图片。
所述指定尺寸为(200~240)*(200~240)像素点。
并且,所述获得区域图片后,对应视频流将其以矩阵形式存储。
具体地,所述火焰分类模型建立时,预先收集大量的任何环境下的火焰数据,将其中80%的火焰数据组成训练数据集,剩余的火焰数据作为测试数据集。
具体地,所述轻量级神经网络MobileNetV3采用h-swish激活函数进行训练:
其损失函数采用交叉熵损失函数,公式如下:
该式中,p表示真实值,是one-hot向量形式,q是预测值并且q是经过softmax函数处理后的值;
根据预先收集的火焰数据进行深度学习训练后,确定出该火焰分类模型。
与现有技术相比,本发明具有以下有益效果:
本发明对于水电厂区实时提取的视频流,先利用KNN背景建模,做运动目标检测,完成初筛,如有运动目标提取运动目标区域,然后对运动目标进行深度学习图片分类,判断其是否为火焰,本发明方法不需要对每帧图进行检测,火焰分类的样本数据不必依赖水电厂区背景因此容易收集,此方法能准确检测大、小火焰,精确率高、召回率高,速度快。
附图说明
图1为本发明-实施例的流程示意图。
图2为本发明-实施例中运动目标检测的流程示意图。
图3为本发明-实施例中火焰分类模型训练流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,本发明的实施方式包括但不限于下列实施例。
实施例
如图1至图3所示,该用于水电厂区的火焰识别方法,包括以下步骤:
S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;
S11、读取视频:实时获取水电厂区内各个摄像头的视频流;
S12、背景建模,计算前景掩码:采用OPENCV2软件的createBackgroundSubtractorKNN函数,通过设置训练的帧数、阴影检测获得背景,再计算获得当前图片的前景掩码;其中,训练的帧数为15-30帧,可优选为20帧;
S13、对前景区域二值化:将非白色的非前景区域均设置为0,白色的前景区域设置为255;其中,非白色的像素值为0-244,白色的像素值为244-255,所述非前景区域包含背景及阴影;
S14、形态学处理:对二值化后的前景区域进行图像形态上的处理,通过腐蚀、膨胀操作,消除噪声;
S15、获得轮廓坐标:对二值化后的图片利用cv2.findContours函数获得矩形轮廓坐标,该获得的矩形轮廓对象即为图片中的运动目标;
S16、轮廓区域处理:根据矩形轮廓坐标从原图中提取对应的矩形区域,该区域是一张图片,为保证图片缩放不变型,先根据该图片的宽高对图片周围进行填充,使用像素值为0的黑色进行填充,然后将其缩放为指定尺寸,如(200~240)*(200~240)像素点,形成运动目标区域的区域图片;并对应视频流将其以矩阵形式存储。
S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警。由于输入的运动目标区域是原图中的一部分,尺寸较小,不需要专门水电厂内的火焰数据集,任何环境下的火焰数据集都有效,因此数据集更容易收集,同时相较于传统基于特征的火焰分类方法,深度学习能更好的提取火焰特征,识别精度高。
其中,预先收集大量的任何环境下的火焰数据,将其中80%的火焰数据组成训练数据集,剩余的火焰数据作为测试数据集;
所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。
具体地,所述轻量级神经网络MobileNetV3采用h-swish激活函数进行训练:
其损失函数采用交叉熵损失函数,公式如下:
该式中,p表示真实值,是one-hot向量形式,q是预测值并且q是经过softmax函数处理后的值;
根据预先收集的火焰数据进行深度学习训练后,确定出该火焰分类模型。
测试中,共收集到火焰19620张,非火焰41060张,分别从火焰和非火焰集中选取80%组成训练数据集,其余作为测试数据集。MobileNetV3网络训练后,利用测试数据集对模型进行测试,精确率达到99.9%,召回率为95%。
上述实施例仅为本发明的优选实施例,并非对本发明保护范围的限制,但凡采用本发明的设计原理,以及在此基础上进行非创造性劳动而做出的变化,均应属于本发明的保护范围之内。
Claims (9)
1.一种用于水电厂区的火焰识别方法,其特征在于,包括以下步骤:
S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;
S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警;
其中,所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。
2.根据权利要求1所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S10具体包括:
S11、实时获取水电厂区内各个摄像头的视频流;
S12、采用OPENCV2软件的createBackgroundSubtractorKNN函数,通过设置训练的帧数、阴影检测获得背景,再计算获得当前图片的前景掩码;
S13、对前景区域二值化,将非白色的非前景区域均设置为0,白色的前景区域设置为255;
S14、对二值化后的前景区域进行图像形态上的处理,通过腐蚀、膨胀操作,消除噪声;
S15、对二值化后的图片利用cv2.findContours函数获得矩形轮廓坐标,该获得的矩形轮廓对象即为图片中的运动目标;
S16、根据矩形轮廓坐标从原图中提取对应的矩形区域,形成运动目标区域的区域图片。
3.根据权利要求2所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S12中,训练的帧数为15-30帧。
4.根据权利要求2所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S13中,定义非白色的像素值为0-244,白色的像素值为244-255。
5.根据权利要求2所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S16中,提取出矩形区域的图片后,先根据该图片的宽高对图片周围进行填充,使用像素值为0的黑色进行填充,然后将其缩放为指定尺寸,形式所述区域图片。
6.根据权利要求5所述的用于水电厂区的火焰识别方法,其特征在于,所述指定尺寸为(200~240)*(200~240)像素点。
7.根据权利要求4所述的用于水电厂区的火焰识别方法,其特征在于,所述获得区域图片后,对应视频流将其以矩阵形式存储。
8.根据权利要求1~7任一项所述的用于水电厂区的火焰识别方法,其特征在于,所述火焰分类模型建立时,预先收集大量的任何环境下的火焰数据,将其中80%的火焰数据组成训练数据集,剩余的火焰数据作为测试数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011107574.0A CN112329549B (zh) | 2020-10-16 | 2020-10-16 | 一种用于水电厂区的火焰识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011107574.0A CN112329549B (zh) | 2020-10-16 | 2020-10-16 | 一种用于水电厂区的火焰识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112329549A true CN112329549A (zh) | 2021-02-05 |
CN112329549B CN112329549B (zh) | 2024-07-12 |
Family
ID=74313944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011107574.0A Active CN112329549B (zh) | 2020-10-16 | 2020-10-16 | 一种用于水电厂区的火焰识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329549B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090315722A1 (en) * | 2008-06-20 | 2009-12-24 | Billy Hou | Multi-wavelength video image fire detecting system |
CN105788142A (zh) * | 2016-05-11 | 2016-07-20 | 中国计量大学 | 一种基于视频图像处理的火灾检测***及检测方法 |
CN108052865A (zh) * | 2017-07-06 | 2018-05-18 | 同济大学 | 一种基于卷积神经网络和支持向量机的火焰检测方法 |
CN111310662A (zh) * | 2020-02-17 | 2020-06-19 | 淮阴工学院 | 一种基于集成深度网络的火焰检测识别方法及*** |
-
2020
- 2020-10-16 CN CN202011107574.0A patent/CN112329549B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090315722A1 (en) * | 2008-06-20 | 2009-12-24 | Billy Hou | Multi-wavelength video image fire detecting system |
CN105788142A (zh) * | 2016-05-11 | 2016-07-20 | 中国计量大学 | 一种基于视频图像处理的火灾检测***及检测方法 |
CN108052865A (zh) * | 2017-07-06 | 2018-05-18 | 同济大学 | 一种基于卷积神经网络和支持向量机的火焰检测方法 |
CN111310662A (zh) * | 2020-02-17 | 2020-06-19 | 淮阴工学院 | 一种基于集成深度网络的火焰检测识别方法及*** |
Non-Patent Citations (1)
Title |
---|
卢鹏 等: "复杂背景环境下基于SSD_MobileNet深度学习模型的火焰图像识别研究", 《火灾科学》, vol. 29, no. 3, pages 142 - 148 * |
Also Published As
Publication number | Publication date |
---|---|
CN112329549B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107705288B (zh) | 伪目标运动强干扰下的危险气体泄漏红外视频检测方法 | |
CN107194559B (zh) | 一种基于三维卷积神经网络的工作流识别方法 | |
CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
CN104966304B (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
CN105096321B (zh) | 一种基于图像边缘的低复杂度视频移动侦测方法 | |
CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位*** | |
CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
CN113239822A (zh) | 基于时空双流卷积神经网络的危险行为检测方法及*** | |
CN103093198A (zh) | 一种人群密度监测方法及装置 | |
CN113052876A (zh) | 一种基于深度学习的视频接力跟踪方法及*** | |
CN106023249A (zh) | 一种基于局部二值相似性模式的运动目标检测方法 | |
CN102663362A (zh) | 一种基于灰度特征的运动目标检测方法 | |
CN108830161B (zh) | 基于视频流数据的烟雾识别方法 | |
CN116109954B (zh) | 房屋安全隐患识别方法、装置及存储介质 | |
CN111460964A (zh) | 一种广电传输机房低照度条件下运动目标检测方法 | |
CN115311623A (zh) | 一种基于红外热成像的设备漏油检测方法及*** | |
CN114187282A (zh) | 一种基于图像分割的篦冷机料层厚度测量方法 | |
CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 | |
Wu et al. | Video surveillance object recognition based on shape and color features | |
CN117787690A (zh) | 吊装作业安全风险识别方法及识别装置 | |
KR102171384B1 (ko) | 영상 보정 필터를 이용한 객체 인식 시스템 및 방법 | |
CN112329549A (zh) | 一种用于水电厂区的火焰识别方法 | |
CN106603888A (zh) | 图像颜色提取处理结构 | |
CN110796008A (zh) | 一种基于视频图像的早期火灾检测方法 | |
CN116452976A (zh) | 一种煤矿井下安全检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 614000 No. 1, No. 4 Binhe Road, Jinkouhe District, Leshan City, Sichuan Province Applicant after: Guoneng Dadu River Zhentouba Power Generation Co.,Ltd. Address before: 614000 No. 1, No. 4 Binhe Road, Jinkouhe District, Leshan City, Sichuan Province Applicant before: GUODIAN DADU RIVER ZHENTOUBA POWER GENERATION Co.,Ltd. |
|
GR01 | Patent grant |