CN110991245A - 一种基于深度学习与光流法的实时烟雾检测方法 - Google Patents
一种基于深度学习与光流法的实时烟雾检测方法 Download PDFInfo
- Publication number
- CN110991245A CN110991245A CN201911057926.3A CN201911057926A CN110991245A CN 110991245 A CN110991245 A CN 110991245A CN 201911057926 A CN201911057926 A CN 201911057926A CN 110991245 A CN110991245 A CN 110991245A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- smoke
- image
- flow method
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 101
- 230000003287 optical effect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 239000010902 straw Substances 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 239000002699 waste material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习与光流法的实时烟雾检测方法，首先，建立烟雾图像数据集，训练检测烟雾的Faster R‑CNN模型，获取视频当前帧图像和上一帧图像，然后使用Faster R‑CNN模型对上一帧图像进行烟雾检测，若检测到烟雾，使用稀疏光流法或密集光流法获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况，若符合，则发出警告。
Description
技术领域
本发明涉及利用计算机进行烟雾识别领域，特别是一种基于深度学习与光流法的实时烟雾检测方法。
背景技术
每年秋收季节，遗留在地间的秸秆等废弃物成了农民们棘手的问题，由于专业知识的缺乏以及薄弱的安全意识，农民们通常采用直接焚烧的方法处理秸秆等废弃物。但是，直接焚烧秸秆等废弃物会造成空气污染并且极容易引发火灾，必须及时制止农民们随意焚烧秸秆等废弃物的行为。每年夏秋季收获时节，环保部、农业部及各地政府都会投入大量的人力监控焚烧秸秆的情况，但秸秆焚烧现象仍然屡禁不止，每年的秸秆中仍有3亿多吨被当作废弃物直接焚烧或扔掉，给大气质量、生态环境、交通安全和火灾防护都造成了极大的危害。
在计算机视觉技术飞速发展的今天，计算机能够识别的场景越来越多，因此越来越多的场合开始使用基于视频分析的安全监测技术。中国专利CN109977790A“一种基于迁移学习的视频烟雾监测与识别方法”中提到的烟雾监测方法，使用了迁移学习的方法，用Faster R-CNN模型对烟雾进行监测，但是可能会产生欠适配和负迁移等问题，从而对模型的性能产生影响，且烟雾没有固定的形状，仅通过Faster R-CNN模型判定烟雾的准确率较低，而且判断的速率慢，不能实现实时判定。中国专利CN107301375A“一种基于稠密光流的视频图像烟雾监测方法”用稠密光流算法对图像进行特征提取，根据特征的运动轨迹得到运动区域，但是稠密光流监测速度慢，不能实现实时监测。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习与光流法的实时烟雾检测方法，能够通过摄像头拍摄的视频实时检测烟雾情况，并及时发出警告。解决了烟雾检测不及时、精度不够、效率不高的问题。
为解决上述技术问题，本发明所采用的技术方案是：一种基于深度学习与光流法的实时烟雾检测方法，实现的步骤为：
S1.建立烟雾图像数据集，训练检测烟雾的Faster R-CNN模型，获取视频当前帧图像和上一帧图像；
S2.使用Faster R-CNN模型对上一帧图像进行烟雾检测，若未检测到烟雾，不做任何处理，若检测到烟雾，则提取烟雾区域并进行步骤S3；
S3.使用稀疏光流法或密集光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况，若符合，则发出警告。
优选的方案中，步骤S3中使用稀疏光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况具体实现的步骤为：
S31.使用稀疏光流法分别提取步骤S1获取的两帧图像对应目标区域特征点；
S32.使用当前帧的特征点坐标与前一帧的特征点坐标做运算；
S33.若目标区域运动情况存在上升趋势，则判断为烟雾区域，发出警告，反之，则不做任何处理。
优选的方案中，步骤S3中使用密集光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况具体实现的步骤为：
S31.使用密集光流法结合步骤S1提取的两帧图像计算目标区域所有点的运动情况；
S32.若目标区域存在运动情况，则判断为烟雾，发出警告，反之，则不做任何处理。
优选的方案中，在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层神经网络激活函数减为10层卷积、10层神经网络激活函数。
优选的方案中，对视频帧图像处理的步骤为:
S1.对采集到的视频当前帧图像进行预处理；
S2.利用光流法计算出各点的光流值，得到各个点的光流场；
S3.对光流场进行阈值分割，划定运动区域；
S4.对图像噪点进行滤波处理得到平滑图像；
S5.统计图像特征信息。
优选的方案中，稀疏光流法采用Lucas-Kanade算法，步骤S32具体实现的步骤为：
S321.选取视频当前帧图像和前一帧图像，在前一帧图像上选取一个像素点(x，y)，在时刻t的亮度为I(x，y，t)，用μ(x，y)和θ(x，y)表示该点光流在水平和垂直方向上的速度分量，前一帧图像与当前帧图像的时间差为△t，该点对应的亮度变为I(x+△x，y+△y，t+△t)，经过泰勒公式展开得到光流基本约束方程
S322.用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数，即利用最小二乘法求
最优解，根据
计算两帧在时间t到t+△t之间每个像素位置的移动。
优选的方案中，步骤S321中采用梯度矩阵的特征值筛选像素点，用于从像素点中提取特征点，提高计算效率；
具体的实现的步骤为：
S3211.计算图像中每个像素的矩阵G，并记录每个G的最小特征值λm；
S3212.确定图像每个G的最小特征值λm中的最大特征值λmax；
S3213.保留最小特征值λm大于给定阈值的G所对应的像素点；
S3214.保留步骤S3213中特征值最大的像素点；
S3215.剔除步骤S3214像素点中分布密集的一些像素点，确保任何像素点之间的距离都大于给定阈值；
S3216.仍然保留的像素点即为选取的特征点，用于帧间的跟踪。
优选的方案中，密集光流法中采用Gunnar Farneback算法，步骤S31的具体实现步骤为：
S311.获取视频前一帧图像和当前帧图像；
S312.设置金字塔参数和层数；
S313.设置窗口大小，迭代次数，像素邻域的大小和高斯标准差；
S314.读取视频前一帧图像，提取疑似烟雾的特征点，定义可接受图像角点的最小质量因子，控制特征点的选取；
S315.读取视频当前帧图像，进行光流跟踪，特征点筛选；
S316.显示特征点和运动轨迹。
优选的方案中，步骤S2的具体实现步骤为：
S21.对前一帧图像输进CNN，得到烟雾的Feature Map；
S22.卷积特征输入到RPN，得到候选框的特征信息；
S23.对候选框中提取出的烟雾特征，使用分类器判别是否属于烟雾；
S24.对于属于烟雾的候选框，用回归器进一步调整烟雾的位置。
优选的方案中，步骤S22中RPN单独建一个神经网络；
用于进行烟雾的特征分类和框位置的回归。
本发明提供了一种基于深度学习与光流法的实时烟雾检测方法，通过采用以上的方案，具有以下有益效果：
1、极大地降低了人力成本。本发明利用图像识别技术对视频中是否存在烟雾进行检测，无需人力进行巡逻检测，仅需要根据检测到烟雾的警告情况进行处理，极大地减少了人力物力，节约了社会资源。
2、提高识别准确率，鲁棒性好。本发明先用Faster R-CNN模型对烟雾图像进行预处理，若检测到烟雾则使用稀疏光流法或密集光流法进行进一步判定，两种检测方法的结合极大的提高了烟雾检测的准确率。
3、提高识别效率。本发明在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层神经网络激活函数减为10层卷积、10层神经网络激活函数，在保证准确率的同时极大提高了烟雾识别效率。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的整体流程示意图。
图2为本发明中提取疑似烟雾区域的流程图。
图3为本发明中确认烟雾区域的流程图。
图4为本发明中视频当前帧图像。
图5为本发明中光流法提取到烟雾区域的特征示意图。
具体实施方式
实施例1：
如图1所述，一种基于深度学习与光流法的实时烟雾检测方法，实现的步骤为：
S1.建立烟雾图像数据集，训练检测烟雾的Faster R-CNN模型，获取视频当前帧图像和上一帧图像，训练检测烟雾的Faster R-CNN模型，将神经网络模型的初始学习率设置为0.001，batch大小设置为256(即一次迭代样本数)，迭代次数设置为20000，并获取视频当前帧图像和上一帧图像。
S2.使用Faster R-CNN模型对上一帧图像进行烟雾检测，若未检测到烟雾，不做任何处理，若检测到烟雾，使用opencv提取烟雾区域，并进行步骤S3；
S3.使用稀疏光流法或密集光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况，若符合，则发出警告，稀疏光流法处理的速度快，但是准确率较之密集光流法较低，密集光流法处理的准确率高但是耗时较长，因而经过步骤S2根据速度或准确率的要求选择稀疏光流法或密集光流法。
实施例2：
优选的方案如图2所示，步骤S3中使用稀疏光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况具体实现的步骤为：
S31.使用稀疏光流法分别提取步骤S1获取的两帧图像对应目标区域特征点，提取上一帧特征点并保存特征点位置信息在F1中，使用稀疏光流法提取当前帧特征点并保存特征点位置信息在F2中，提取的特征点为shi-tomasi角点。
S32.使用当前帧的特征点坐标与前一帧的特征点坐标做运算，如获取前一帧特征点集，需要发现光流的特征点集，输入参数，使用cvGoodFeaturesToTrack()函数计算当前帧的光流位置的点集，并输出特征点的变化状态。
S33.若目标区域运动情况存在上升趋势，则判断为烟雾区域，发出警告，反之，则不做任何处理，利用F1和F2中对应特征点的信息进行运算判断区域特征点是否存在上升趋势，若特征点存在上升趋势，则说明目标区域的运动存在上升趋势，即存在烟雾，发出警告。
实施例3：
优选的方案如图3所示，步骤S3中使用密集光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况具体实现的步骤为：
S31.使用密集光流法结合步骤S1提取的两帧图像计算目标区域所有点的运动情况，输入视频前一帧和当前帧的图像，提取两帧图像所有的点，有变化的点则进行标记。
S32.若目标区域存在运动情况，则判断为烟雾，发出警告，反之，则不做任何处理，根据变化点的运动轨迹对比烟雾的运动轨迹判断是否属于烟雾，若属于则发出警告。
实施例4：
优选的方案如图4～5所示，在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层神经网络激活函数减为10层卷积、10层神经网络激活函数，减少后，特征提取的效果没变，但是计算量变小了，降低整体的误报，提高准确率。
在利用Faster R-CNN处理后，得到疑似烟雾区域，图像上框选出的区域为疑似烟雾区域，取这张图片的和他的上一帧的候选框选定的同一位置，利用光流法进一步降低误报率。
实施例5：
对视频帧图像处理的步骤为:
S1.对采集到的视频当前帧图像进行预处理，调整图像的尺寸大小，计算输入图像的光流场。
S2.利用光流法计算出各点的光流值，得到各个点的光流场，获得光流矢量在图像区域的连续运动。
S3.对光流场进行阈值分割，划定运动区域，使用阀值分割可以将图像的光流矢量分成两个部分，即区分出背景与前景。阀值的选取可以使用最大类间方差法如大津算法来确定。
S4.对图像噪点进行滤波处理得到平滑图像，光流场经过阈值分割后，通过开运算去除光流值与结构元素不相吻合的凹区域，同时保留那些相吻合的凹区域。然后，利用形态学滤波的闭运算，填充凹区域。
S5.统计图像特征信息，采用合理的区域连通合并和分割技术来找出最终的目标区域。
实施例6：
稀疏光流法采用Lucas-Kanade算法，步骤S32具体实现的步骤为：
S321.选取视频当前帧图像和前一帧图像，在前一帧图像上选取一个像素点(x，y)，在时刻t的亮度为I(x，y，t)，用μ(x，y)和θ(x，y)表示该点光流在水平和垂直方向上的速度分量，前一帧图像与当前帧图像的时间差为△t，该点对应的亮度变为I(x+△x，y+△y，t+△t)，经过泰勒公式展开得到光流基本约束方程
优先采用梯度矩阵的特征值筛选像素点，用于从像素点中提取特征点，提高计算效率；
具体的实现的步骤为：
S3211.计算图像中每个像素的矩阵G，并记录每个G的最小特征值λm；
S3212.确定图像每个G的最小特征值λm中的最大特征值λmax；
S3213.保留最小特征值λm大于给定阈值的G所对应的像素点；
S3214.保留步骤S3213中特征值最大的像素点；
S3215.剔除步骤S3214像素点中分布密集的一些像素点，确保任何像素点之间的距离都大于给定阈值；
S3216.仍然保留的像素点即为选取的特征点，用于帧间的跟踪。
S322.用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数，即利用最小二乘法求
最优解，根据
计算两帧在时间t到t+△t之间每个像素位置的移动。
实施例7：
密集光流法中采用Gunnar Farneback算法，步骤S31的具体实现步骤为：
S311.获取视频前一帧图像和当前帧图像，前一帧图像和当前帧图像的大小类型相同。
S312.设置金字塔参数和层数，如pyr_scale＝0.5意味着一個古典金字塔，其中每個下一层比前一层小兩倍，层数可先设置为三层，再根据效果进行调整。
S313.设置窗口大小，迭代次数，像素邻域的大小和高斯标准差，窗口设置为平均窗口大小，较大的值会影响算法的鲁棒性，迭代次数可设置为2000，用于在每个像素中查找多项展开的像素邻域，像素邻域的大小设置为5，高斯标准差设置为1.5，使算法更为稳健。
S314.读取视频前一帧图像，提取疑似烟雾的特征点，定义可接受图像角点的最小质量因子，控制特征点的选取，根据Faster R-CNN模型得到疑似烟雾区域，并在该区域框通过密集光流法进行烟雾特征点提取，为提高特征点选取的速率和准确度，对图像角点的最小质量因子进行限制。
S315.读取视频当前帧图像，进行光流跟踪，特征点筛选，在视频前一帧经过时间△t后得到的当前帧，特征点的矢量位移发生变化，对特征点进行跟踪，并通过改变区域框的大小和形状进一步筛选特征点。
S316.显示特征点和运动轨迹，特征点和运动轨迹如果符合烟雾的特征点和轨迹，用高亮的颜色进行显示在当前帧图像上，并发出警告。
实施例8：
优选的方案如图4～5所示，步骤S2的具体实现步骤为：
S21.对前一帧图像输进CNN，得到烟雾的Feature Map。
S22.卷积特征输入到RPN，得到候选框的特征信息，为了提高算法的速率，在特征框选取时加入RPN，用来产生候选区域。
S23.对候选框中提取出的烟雾特征，使用分类器判别是否属于烟雾，将提取出的烟雾特征对比已训练好图像中提取的烟雾特征，根据分类器中预设的标签判断是否属于疑似烟雾，属于则进行步骤S3。
S24.对于属于烟雾的候选框，用回归器进一步调整烟雾的位置，***共享卷积特征图，将候选区域的提取和CNN分类结合为一个统一网络。
步骤S22中RPN单独建一个神经网络，用于进行烟雾的特征分类和框位置的回归，Faster R-CNN较之CNN和R-CNN，在特征框的选择加了一层神经卷积网络RPN，极大提高了检测的速率。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习与光流法的实时烟雾检测方法，其特征是：实现的步骤为：
S1.建立烟雾图像数据集，训练检测烟雾的Faster R-CNN模型，获取视频当前帧图像和上一帧图像；
S2.使用Faster R-CNN模型对上一帧图像进行烟雾检测，若未检测到烟雾，不做任何处理，若检测到烟雾，则提取烟雾区域并进行步骤S3；
S3.使用稀疏光流法或密集光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况，若符合，则发出警告。
2.根据权利要求1所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：步骤S3中使用稀疏光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况具体实现的步骤为：
S31.使用稀疏光流法分别提取步骤S1获取的两帧图像对应目标区域特征点；
S32.使用当前帧的特征点坐标与前一帧的特征点坐标做运算；
S33.若目标区域运动情况存在上升趋势，则判断为烟雾区域，发出警告，反之，则不做任何处理。
3.根据权利要求1所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：步骤S3中使用密集光流法结合步骤S1获取的两帧图像判断目标区域的运动情况是否符合烟雾的运动情况具体实现的步骤为：
S31.使用密集光流法结合步骤S1提取的两帧图像计算目标区域所有点的运动情况；
S32.若目标区域存在运动情况，则判断为烟雾，发出警告，反之，则不做任何处理。
4.根据权利要求1所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层神经网络激活函数减为10层卷积、10层神经网络激活函数。
5.根据权利要求2或3所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：对视频帧图像处理的步骤为:
S1.对采集到的视频当前帧图像进行预处理；
S2.利用光流法计算出各点的光流值，得到各个点的光流场；
S3.对光流场进行阈值分割，划定运动区域；
S4.对图像噪点进行滤波处理得到平滑图像；
S5.统计图像特征信息。
6.根据权利要求2所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：稀疏光流法采用Lucas-Kanade算法，步骤S32具体实现的步骤为：
S321.选取视频当前帧图像和前一帧图像，在前一帧图像上选取一个像素点(x，y)，在时刻t的亮度为I(x，y，t)，用μ(x，y)和θ(x，y)表示该点光流在水平和垂直方向上的速度分量，前一帧图像与当前帧图像的时间差为△t，该点对应的亮度变为I(x+△x，y+△y，t+△t)，经过泰勒公式展开得到光流基本约束方程
S322.用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数，即利用最小二乘法求
最优解，根据
计算两帧在时间t到t+△t之间每个像素位置的移动。
7.根据权利要求6所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：步骤S321中采用梯度矩阵的特征值筛选像素点，用于从像素点中提取特征点，提高计算效率；
具体的实现的步骤为：
S3211.计算图像中每个像素的矩阵G，并记录每个G的最小特征值λm；
S3212.确定图像每个G的最小特征值λm中的最大特征值λmax；
S3213.保留最小特征值λm大于给定阈值的G所对应的像素点；
S3214.保留步骤S3213中特征值最大的像素点；
S3215.剔除步骤S3214像素点中分布密集的一些像素点，确保任何像素点之间的距离都大于给定阈值；
S3216.仍然保留的像素点即为选取的特征点，用于帧间的跟踪。
8.根据权利要求3所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：密集光流法中采用Gunnar Farneback算法，步骤S31的具体实现步骤为：
S311.获取视频前一帧图像和当前帧图像；
S312.设置金字塔参数和层数；
S313.设置窗口大小，迭代次数，像素邻域的大小和高斯标准差；
S314.读取视频前一帧图像，提取疑似烟雾的特征点，定义可接受图像角点的最小质量因子，控制特征点的选取；
S315.读取视频当前帧图像，进行光流跟踪，特征点筛选；
S316.显示特征点和运动轨迹。
9.根据权利要求1所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：步骤S2的具体实现步骤为：
S21.对前一帧图像输进CNN，得到烟雾的Feature Map；
S22.卷积特征输入到RPN，得到候选框的特征信息；
S23.对候选框中提取出的烟雾特征，使用分类器判别是否属于烟雾；
S24.对于属于烟雾的候选框，用回归器进一步调整烟雾的位置。
10.根据权利要求9所述的一种基于深度学习与光流法的实时烟雾检测方法，其特征是：步骤S22中RPN单独建一个神经网络；
用于进行烟雾的特征分类和框位置的回归。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057926.3A CN110991245A (zh) | 2019-11-01 | 2019-11-01 | 一种基于深度学习与光流法的实时烟雾检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057926.3A CN110991245A (zh) | 2019-11-01 | 2019-11-01 | 一种基于深度学习与光流法的实时烟雾检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110991245A true CN110991245A (zh) | 2020-04-10 |
Family
ID=70082848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911057926.3A Pending CN110991245A (zh) | 2019-11-01 | 2019-11-01 | 一种基于深度学习与光流法的实时烟雾检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991245A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221976A (zh) * | 2021-04-26 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于时空光流网络的多视频帧黑烟柴油车检测方法及*** |
| CN114679524A (zh) * | 2022-03-23 | 2022-06-28 | 西安邮电大学 | 一种快速检测和修复内窥镜下高能量可见光的快速方法 |
| CN115595388A (zh) * | 2022-10-14 | 2023-01-13 | 合肥视展光电科技有限公司（Cn） | 基于铁水流动状态的高炉出铁作业控制方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339602A (zh) * | 2008-07-15 | 2009-01-07 | 中国科学技术大学 | 一种基于光流法的视频火灾烟雾图像识别方法 |
| CN107301375A (zh) * | 2017-05-26 | 2017-10-27 | 天津大学 | 一种基于稠密光流的视频图像烟雾检测方法 |
| CN108154520A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于光流与帧间匹配的运动目标检测方法 |
| CN109389185A (zh) * | 2018-11-15 | 2019-02-26 | 中国科学技术大学 | 使用三维卷积神经网络的视频烟雾识别方法 |
| US20190095764A1 (en) * | 2017-09-26 | 2019-03-28 | Panton, Inc. | Method and system for determining objects depicted in images |
-
2019
- 2019-11-01 CN CN201911057926.3A patent/CN110991245A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339602A (zh) * | 2008-07-15 | 2009-01-07 | 中国科学技术大学 | 一种基于光流法的视频火灾烟雾图像识别方法 |
| CN107301375A (zh) * | 2017-05-26 | 2017-10-27 | 天津大学 | 一种基于稠密光流的视频图像烟雾检测方法 |
| US20190095764A1 (en) * | 2017-09-26 | 2019-03-28 | Panton, Inc. | Method and system for determining objects depicted in images |
| CN108154520A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于光流与帧间匹配的运动目标检测方法 |
| CN109389185A (zh) * | 2018-11-15 | 2019-02-26 | 中国科学技术大学 | 使用三维卷积神经网络的视频烟雾识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 林高华: "基于动态纹理和卷积神经网络的视频烟雾探测方法研究" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221976A (zh) * | 2021-04-26 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于时空光流网络的多视频帧黑烟柴油车检测方法及*** |
| CN114679524A (zh) * | 2022-03-23 | 2022-06-28 | 西安邮电大学 | 一种快速检测和修复内窥镜下高能量可见光的快速方法 |
| CN114679524B (zh) * | 2022-03-23 | 2023-06-16 | 西安邮电大学 | 一种快速检测和修复内窥镜下高能量可见光的快速方法 |
| CN115595388A (zh) * | 2022-10-14 | 2023-01-13 | 合肥视展光电科技有限公司（Cn） | 基于铁水流动状态的高炉出铁作业控制方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
| Li et al. | 3D parallel fully convolutional networks for real-time video wildfire smoke detection | |
| US20230289979A1 (en) | A method for video moving object detection based on relative statistical characteristics of image pixels | |
| CN108985169B (zh) | 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 | |
| CN105654508B (zh) | 基于自适应背景分割的监控视频移动目标跟踪方法及*** | |
| CN102136059B (zh) | 一种基于视频分析的烟雾检测方法 | |
| CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
| CN107609512A (zh) | 一种基于神经网络的视频人脸捕捉方法 | |
| CN111680632A (zh) | 基于深度学习卷积神经网络的烟火检测方法及*** | |
| CN106845408A (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| CN110991245A (zh) | 一种基于深度学习与光流法的实时烟雾检测方法 | |
| CN104915655A (zh) | 一种多路监控视频的管理方法与设备 | |
| CN103092930B (zh) | 视频摘要生成方法和视频摘要生成装置 | |
| CN109598700A (zh) | 采用卷积神经网络的早期火灾检测方法 | |
| CN104866842B (zh) | 一种人体目标入侵检测方法 | |
| CN109063667A (zh) | 一种基于场景的视频识别方式优化及推送方法 | |
| Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
| CN113963399A (zh) | 基于多算法融合应用的人员轨迹检索方法及装置 | |
| CN111738218A (zh) | 人体异常行为识别***及方法 | |
| CN106991400A (zh) | 一种火灾烟雾检测方法及装置 | |
| Tao et al. | Smoky vehicle detection based on range filtering on three orthogonal planes and motion orientation histogram | |
| Tao et al. | Contour-based smoky vehicle detection from surveillance video for alarm systems | |
| TWI696958B (zh) | 影像適應性特徵提取法及其應用 | |
| Zhao et al. | Research of fire smoke detection algorithm based on video | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |