CN112258403A - 一种在动态烟雾中提取疑似烟雾区域的方法 - Google Patents

一种在动态烟雾中提取疑似烟雾区域的方法 Download PDF

Info

Publication number
CN112258403A
CN112258403A CN202011073167.2A CN202011073167A CN112258403A CN 112258403 A CN112258403 A CN 112258403A CN 202011073167 A CN202011073167 A CN 202011073167A CN 112258403 A CN112258403 A CN 112258403A
Authority
CN
China
Prior art keywords
smoke
image
point
area
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011073167.2A
Other languages
English (en)
Inventor
刘明珠
贺雅楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202011073167.2A priority Critical patent/CN112258403A/zh
Publication of CN112258403A publication Critical patent/CN112258403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种在动态烟雾中提取疑似烟雾区域的方法。现有的视频烟雾检测算法存在烟雾检测不够精确的问题。属于图像识别领域。一种在动态烟雾中提取疑似烟雾区域的方法，首先对视频图像进行输入，并对其进行逐帧处理。对视频数据集实现筛选和裁剪。烟雾数据集大小为32x24的标准归一化成320x240大小的视频文件，这样选取有利于后期的视频图像分块，并送入识别模型。在归一化以后选择合适的滤波器进行去噪处理，然后进行分块以后对运动物体进行角点检测，判断运动方向提取疑似烟雾的区域。最后在此区域内抽取特征进行识别。实现了对疑似烟雾区域的精确提取，且漏检率降低2‑5倍。烟雾识别准确率达到94‑96%。

Description

一种在动态烟雾中提取疑似烟雾区域的方法
技术领域
本发明涉及一种在动态烟雾中提取疑似烟雾区域的方法。
背景技术
在视频烟雾检测中，对动态烟雾区域的准确提取，以及如何更好的保留烟雾的完整性、 不规则性对烟雾识别准确度有至关重要的影响，常规的运动物体提取方法为高斯混合模型 和帧间差分法以及光流法。在烟雾视频图像中，从算法性能上来讲，帧间差分法受环境的 影响较大，并且对烟雾运动区域的提取效果不明显存在遗漏问题。其他算法受影响较小。 而稠密光流法虽然提取的区域完整，尽可能的保留了烟雾的不规则的特点，但是计算速度 较慢，难以实现实时检测的需要。高斯混合模型的提取效果较好，但是在随着烟雾持续出 现以后，容易将缓慢运动的烟雾运动区域作为背景的一部分而带来对动态烟雾的漏检。
烟雾本身具有的半透明，不规则，非刚性的特点。导致移动物体提取的常规算法并不 能对动态烟雾区域有较好的定位和提取效果。尤其在面对不确定的自然条件下，并不能有 较好的准确度。所以，现有视频烟雾检测算法存在烟雾检测不够精确的问题。
发明内容
本发明的目的是为了解决现有的视频烟雾检测算法不够精确的问题，而提出一种在动 态烟雾中提取疑似烟雾区域的方法。
一种在动态烟雾中提取疑似烟雾区域的方法，所述方法通过以下步骤实现：
步骤一、对输入的视频图像进行预处理；
对输入的视频图像进行去噪处理，并通过选择颜色空间和提取关键帧处理步骤提升目 标区域的抗干扰能力；所述的目标区域为要被提取出的疑似烟雾区域；
具体为：
首先，输入视频图像，并对其进行逐帧处理；
之后，对视频数据集进行筛选和裁剪，获得数据视频文件的格式以及大小统一的视频 图像；
之后，以烟雾数据集的大小作为标准，将视频图像进行归一化处理，并送入识别模型；
之后，利用滤波器对视频图像进行去噪处理；
步骤二、将基于角点检测的稀疏光流法和基于视频块运动方向判断的算法结合，判断 烟雾运动方向，提取疑似烟雾区域；
具体为：
首先，将烟雾视频图像逐帧输入；
之后，对运动物体进行角点检测；
之后，对运动物体角点进行光流矢量估计；
之后，对有矢量的像素点所在的区域进行分割，形成视频运动块；
之后，确定合适烟雾图像的HSV颜色空间，并设定饱和度阈值范围，对满足阈值的视 频运动块进行运动方向估计，将运动方向向上的运动块确定为疑似烟雾区域；以此提取运 动方向的区域，作为基于视频块估计运动方向的输入；
步骤三、分析烟雾运动特点，提取烟雾的静态特征和动态特征；所述的烟雾运动特点 包括分析颜色、灰度，以此分割出待检测的区域；
步骤四、将此上一步获得的疑似烟雾区域作为待检测区域，并在此待检测区域内利用 卷积神经网络模型抽取特征进行识别；
本发明的有益效果为：
本发明方法通过对角点的光流矢量估计，避免了稠密光流法中对所有像素点计算光流 矢量，同时又较好的保持了烟雾图像中运动物体的运动特征。通过对烟雾图像的色彩特征 研究，选择合适烟雾图像的HSV颜色空间，并进行对饱和度进行阈值设定，然后对满足阈 值的视频运动块进行运动方向估计，最后形成疑似烟雾区域。
本发明是将传统光流法与基于视频块判断运动方向的算法相结合，实现了对疑似烟雾 区域的精确提取，且漏检率降低2-5倍。烟雾识别准确率达到94-96％。
附图说明
图1为本发明一种在动态烟雾中提取疑似烟雾区域的方法的方法流程；
图2为本发明涉及的卷积网络模型图；
图3为本发明涉及的烟雾区域内的角点示意；
图4为本发明涉及的烟雾区域内的角点示意；
图5为本发明涉及的角点的光流矢量可视化图；
图6为本发明涉及的HSV颜色空间的各个通道分量进行输出图示；
图7为本发明涉及的RGB颜色空间的各个通道分量进行输出图示；
图8为本发明涉及的视频块运动方向编号标注图。
具体实施方式
具体实施方式一：
本实施方式的一种在动态烟雾中提取疑似烟雾区域的方法，所述方法通过以下步骤实 现：如图1所示，
步骤一、对输入的视频图像进行预处理；
对输入的视频图像进行去噪处理，并通过选择颜色空间和提取关键帧处理步骤提升目 标区域的抗干扰能力；
具体为：
首先，输入视频图像，并对其进行逐帧处理；
之后，对视频数据集进行筛选和裁剪，获得数据视频文件的格式以及大小统一的视频 图像；
之后，以烟雾数据集的大小作为标准，将视频图像进行归一化处理，即按照烟雾数据 集大小为32x24，归一化成320x240大小的视频文件，所以这样选取有利于后期的视频图像分块，并送入识别模型；
之后，利用滤波器对视频图像进行去噪处理；所述的滤波器为高斯滤波器；
步骤二、将基于角点检测的稀疏光流法和基于视频块运动方向判断的算法结合，判断 烟雾运动方向，提取疑似烟雾区域；降低了烟雾的漏检率，提高了动态烟雾识别的准确率；
如图1所示，具体为：
首先，将烟雾视频图像逐帧输入；
之后，对运动物体进行角点检测，降低计算量；
之后，对运动物体角点进行光流矢量估计，能够避免稠密光流法中对所有像素点计算 光流矢量，同时又能保持烟雾图像中运动物体的运动特征，可以减少误检率；
之后，对有矢量的像素点所在的区域进行分割，形成视频运动块；
之后，通过对烟雾图像的色彩特征研究，确定合适烟雾图像的HSV颜色空间，并设定 饱和度阈值范围，对满足阈值的视频运动块进行运动方向估计，将运动方向向上的运动块 确定为疑似烟雾区域；以此提取运动方向的区域，作为基于视频块估计运动方向的输入；
步骤三、分析烟雾运动特点，提取烟雾的静态特征和动态特征；所述的烟雾运动特点 包括分析颜色、灰度，以此分割出待检测的区域，可以减少运算量；
步骤四、将此上一步获得的疑似烟雾区域作为待检测区域，并在此待检测区域内利用 卷积神经网络模型抽取特征进行识别；本发明采用CNN方法自动映射，优于传统人工提取 的方法；
其中，步骤一所述的目标区域为要被提取出的疑似烟雾区域；是从运动区域(飘云、 或者雾霾等)进行了运动方向的估计，以及阈值的筛选后而确定的区域。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的对运动物体进行角点检测的步骤，具体为：
角点是在水平和垂直方向移动时该像素点的灰度值会发生剧烈变化的特征点。将预处 理后的烟雾视频图像逐帧输入，逐帧经过角点的检测，寻找角点：
在图3、4中明显可发现在矩形框区域中由于出现烟雾，该区域会存在角点，采用以下方法计算、判断图像中烟雾区域的角点：
记图像为I(x,y)，当在点(x,y)处平移(Δx,Δy)后的相似性为：
Figure BDA0002715805910000041
ω(x,y)是以点(x,y)为中心的窗口，即加权函数，例如高斯加权函数基于泰勒展开，对 图像I(x,y)在平移(Δx,Δy)后进行一阶近似：
I(u+Δx,v+Δy)＝I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy+O(Δx2,Δy2)
≈I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy (13)
其中，Ix、Iy是图像I(x,y)的偏导数，近似可得：
Figure BDA0002715805910000042
其中M：
Figure BDA0002715805910000043
化简可得：
c(x,y；Δx,Δy)≈AΔx2+2CΔxΔy+BΔy2 (16)
Figure BDA0002715805910000051
故通过式(15)中，计算矩阵M(x,y)的特征值λ1,λ2来判断该点(x,y)是否为角点，采用角点响应值的范围判定是否为角点，角点响应的计算如式(18)所示：
R＝λ1λ2-α(λ1+λ2)2 (18)
其中，α＝0.04，R为角点响应值；
当R≈0，判断为平坦区,当R＜0判断为边界,当R＞0判断为角点。
具体实施方式三：
与具体实施方式二不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的对运动物体角点进行光流矢量估计的步骤，具体为：
对烟雾视频图像检测出的角点进行光流矢量估计，公式(4)至公式(11)，可得到角点光流矢量图，见图5所示，
所述的光流被定义为图像平面上的像素点运动的瞬时速度，根据图像图像序列中像素 在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系， 从而计算出相邻帧之间物体的运动信息；
按光流场中矢量的疏密程度将光流法分为稠密光流与稀疏光流两种；
在1981年Horn和Schunck将二维速度场与灰度相结合，通过光流约束方程，可得到光流计算的基本算法。光流矢量包含的信息即是各像素点的瞬时运动速度矢量信息；光流的计算方法基于以下三个假设前提：
1)亮度恒定，同一像素点的亮度不随时间发生跃变；
2)小运动：随着时间的变化不会引起位置的剧烈变化；
3)空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。根 据以上三个前提，则有假设图像上一个像素点位置为(x,y)，在t时刻的亮度为E，同时用u 和v来表示该点光流在水平和垂直方向上的位移分量：
Figure BDA0002715805910000052
Figure BDA0002715805910000053
在经过一段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，当Δt很小趋近于0时， 可以认为该点亮度不变，得到公式(6)
E(x,y,t)＝E(x+Δx,y+Δy,t+Δt) (6)
当该点的亮度有变化时，将移动后点的亮度由Taylor公式展开，可得公式(7)：
Figure BDA0002715805910000061
ε指更高阶，在移动足够小的情况下可以忽略；
t时刻的亮度为E，同时用u和v来表示该点光流在水平和垂直方向上的位移分量；
忽略其二阶无穷小，由于Δt趋近于0时有
Figure BDA0002715805910000062
式中w＝(u,v)，I为单位矩阵，所以上式就是基本的光流约束方程，其中令
Figure BDA0002715805910000063
表示图像中像素点灰度沿x，y，t方向的梯度，可将式(9)改写成：
Exu+Eyv+Et＝0 (10)
由光流约束方程对图像中n个像素点建立下式的矩阵方程进行对u,v的求解；
Figure RE-GDA0002824617230000064
具体实施方式四：
与具体实施方式三不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的对有矢量的像素点所在的区域进行分割，形成视频运动块的步骤，具体 为：
对具有光流矢量的角点位置信息进行记录，以便于能准确的在原始视频图像中提取运 动区域。将具有光流矢量的角点，作为运动区域的中心点在原始烟雾图像中进行切片处理， 分出烟雾运动块图像。
具体实施方式五：
与具体实施方式四不同的是，本实施方式的一种在动态烟雾中提取疑似烟雾区域的方 法，步骤二所述的烟雾运动块图像大小为32×24。
本发明中，筛选符合HSV颜色空间阈值的运动块图像原理为：
筛选符合HSV颜色空间阈值的运动块图像是在提取疑似烟雾算法之前进行的，其结论 用于提取疑似烟雾区域部分。
本文通过对烟雾图像在HSV和RGB颜色空间上进行对比，对500张烟雾图像提取HSV和RGB颜色空间的各个通道分量进行输出，见图6至7。
可以发现烟雾图像在RGB颜色空间的并无明显特征。但是在HSV颜色空间中具有明显 特点，故选择HSV颜色空间对烟雾图像进行预处理，并在记录500张烟雾图像的H,S,V三个分量数值大小时，发现80％左右的烟雾图像的饱和度在65以下，所以选取烟雾图像饱和度阈值为65，表明在饱和度低于65时，即可能为烟雾图像。
故对所得到的运动块图像进行HSV颜色空间转换，对满足阈值条件的运动快图像进行 运动方向的检测，不满足则丢弃。
运动块图像的运动方向检测：计算过程首先将视频的运动方向划分为八个方向。在二 维平面下将360度的范围以45度为一个方向进行划分，以逆时针方向从数字1依次对八个 方向进行编号。如图8所示。
上图中3号方向表示正上方，7号方向表示正下方。算法通过计算中心图像和下 一帧图像中对应坐标位置的八邻域图像块的差异大小，然后选取差异值最小的位置，即为 中心图像块的运动方向。
设Ik(x,y)为第k帧中的是烟雾视频图像中的运动块，则记Ik+1(x+1,y)，Ik+1(x+1,y+1)， Ik+1(x,y+1)，Ik+1(x+1,y-1)，Ik+1(x-1,y)，Ik+1(x-1,y-1)，Ik+1(x,y-1)，Ik+1(x+1,y-1)分别对应第k+1帧烟雾视频图像中位于中心运动块的八邻域图像块。然后利用公式(19) 计算中心运动块图像Ik(x,y)与k+1帧所对应位置的差异值B。
Figure BDA0002715805910000071
其中w和h分别为运动块图像的宽度和高。B表示差异大小，I(i,j)表示位于坐标(i,j) 处点的像素值的大小，k表示该运动块图像在视频图像里的帧数。通过计算出B1～B8对这 8个数值的大小进行比较，选择最小差异值并得到Ik(x,y)运动块的主运动方向，如果运动 的方向范围为2、3、4号则判定该区域的主运动方向是向上的，记为图像Gk(x,y)作为最终 的疑似烟雾区域，可送至识别模型进行识别，其他方向的运动块进行舍弃。
识别对比说明：
卷积神经网络模型和SVM识别模型的对比测试
识别模型介绍：网络主要有三层卷积分别记为C1、C2、C3。池化层分别记为为S1、S2、S3。记F1为全连接层，设置1024个神经元与池化层S2连接。激活函数选择 ReLU(Rectified Linear Unit)。F2记为输出层，有2个神经元与F1连接，将SoftMax作为 激活函数。
卷积层C1中卷积核大小取5×5，步长为1，激活函数为ReLU。偏置量取值为1，输 入的数据为32×24大小的彩色图像。卷积核的权重值使用方差为0.1的正态分布随机生 成，输出为32×24大小的32个特征图像。池化层S1，使用最大值池化方法对卷积层C1 的输出结果进行重采样，结果为16×12×32维数据。卷积层C2和C3的卷积核大小均 为5×5，步长均为1，C2的特征图个数为96，C3的特征图个数为128，输出数据的维度 分别为16×12×96和8×6×128，池化层S2和S3的输出数据的维度分别为8×6×96 和4×3×128，卷积网络模型结构图如图2。
识别阶段主要是二分类问题，实现对烟雾图像有烟和无烟的识别能力，此处节采用卷 积神经网络和HOG+SVM识别模型进行对比。
HOG(Histogram of Oriented Gradients，方向梯度直方图)，是图像一种常用的特征 描述算子。主要原理是将图像均分为块，对每个块区域分别计算8领域方向上的梯度，最 终形成一个梯度向量表示该图像的特征。SVM(upport Vector Machine，支撑向量机)是机器学***面利用间隔最化的学习策略对图像进行分类，对比结果如表1所示。
表1识别模型对比结果
Figure BDA0002715805910000081
其中识别模型的评价指标[13]主要有：
ACC＝(TP+TN)/N (20)
TPR＝TP/(TP+FN) (21)
TNR＝TN/(TN+FP) (22)
式中，ACC为准确率；TNR为真负率；TPR为真正率；N是总样本数。
其中：
1)TP为真正样本数，表示烟雾样本中被识别为烟雾图像的个数。
2)FP为假正样本数，表示烟雾样本中未被识别为烟雾图像的个数。
3)TN为真负样本数，表示非烟雾样本中未被识别为烟雾图像的个数。
4)FN为假负样本数，表示非烟雾样本中被识别未烟雾图像的个数。
结果
准确率：指在所有测试视频中，真正有烟雾出现的帧数在所有报警帧数中 所占的比例，表示***发出正确警报的概率。漏检率：指在所有测试视频中， 未检测到的烟雾帧数在总烟雾图像中所占的比例。先得出每个视频检测结果的 准确率和漏检率，再对14个视频的准确率和漏检率分别取平均值。结果如表 5所示。
表5所有视频数据集准确率和漏检率
高斯混合 帧间差分 稠密光流法 本文方法
准确率 89.23％ 82.49％ 90.17 94.52
漏检率 29.15％ 67.09％ 23.72％ 12.39％
对表5分析可得，在以上几种方法中，采用本文提出的方法建立的动 态烟雾识别***具有较高的准确率，以及较低的漏检率。

Claims (5)

1.一种在动态烟雾中提取疑似烟雾区域的方法，其特征在于：所述方法通过以下步骤实现：
步骤一、对输入的视频图像进行预处理；
对输入的视频图像进行去噪处理，并通过选择颜色空间和提取关键帧处理步骤提升目标区域的抗干扰能力；所述的目标区域为要被提取出的疑似烟雾区域；
具体为：
首先，输入视频图像，并对其进行逐帧处理；
之后，对视频数据集进行筛选和裁剪，获得数据视频文件的格式以及大小统一的视频图像；
之后，以烟雾数据集的大小作为标准，将视频图像进行归一化处理，并送入识别模型；
之后，利用滤波器对视频图像进行去噪处理；
步骤二、将基于角点检测的稀疏光流法和基于视频块运动方向判断的算法结合，判断烟雾运动方向，提取疑似烟雾区域；
具体为：
首先，将烟雾视频图像逐帧输入；
之后，对运动物体进行角点检测；
之后，对运动物体角点进行光流矢量估计，；
之后，对有矢量的像素点所在的区域进行分割，形成视频运动块；
之后，确定合适烟雾图像的HSV颜色空间，并设定饱和度阈值范围，对满足阈值的视频运动块进行运动方向估计，将运动方向向上的运动块确定为疑似烟雾区域；以此提取运动方向的区域，作为基于视频块估计运动方向的输入；
步骤三、分析烟雾运动特点，提取烟雾的静态特征和动态特征；所述的烟雾运动特点包括分析颜色、灰度，以此分割出待检测的区域；
步骤四、将此上一步获得的疑似烟雾区域作为待检测区域，并在此待检测区域内利用卷积神经网络模型抽取特征进行识别。
2.根据权利要求1所述的一种在动态烟雾中提取疑似烟雾区域的方法，其特征在于：步骤二所述的对运动物体进行角点检测的步骤，具体为：
角点是在水平和垂直方向移动时该像素点的灰度值会发生剧烈变化的特征点，将预处理后的烟雾视频图像逐帧输入，逐帧经过角点的检测，寻找角点：采用以下方法计算、判断图像中烟雾区域的角点：
记图像为I(x,y)，当在点(x,y)处平移(Δx,Δy)后的相似性为：
Figure FDA0002715805900000021
ω(x,y)是以点(x,y)为中心的窗口，即加权函数，对图像I(x,y)在平移(Δx,Δy)后进行一阶近似：
I(u+Δx,v+Δy)＝I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy+O(Δx2,Δy2)≈I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy （13）
其中，Ix、Iy是图像I(x,y)的偏导数，近似可得：
Figure FDA0002715805900000022
其中M：
Figure FDA0002715805900000023
化简可得：
c(x,y；Δx,Δy)≈AΔx2+2CΔxΔy+BΔy2 (16)
Figure FDA0002715805900000024
故通过式(15)中，计算矩阵M(x,y)的特征值λ1,λ2来判断该点(x,y)是否为角点，采用角点响应值的范围判定是否为角点，角点响应的计算如式(18)所示：
R＝λ1λ2-α(λ1+λ2)2 (18)
其中，α＝0.04，R为角点响应值；
当R≈0，判断为平坦区,当R＜0判断为边界,当R＞0判断为角点。
3.根据权利要求2所述的一种在动态烟雾中提取疑似烟雾区域的方法，其特征在于：步骤二所述的对运动物体角点进行光流矢量估计的步骤，具体为：
对烟雾视频图像检测出的角点进行光流矢量估计，公式(4)至公式(11)，可得到角点光流矢量图，
所述的光流被定义为图像平面上的像素点运动的瞬时速度，根据图像图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息；光流矢量包含的信息即是各像素点的瞬时运动速度矢量信息；光流的计算方法基于以下三个假设前提：
1)亮度恒定，同一像素点的亮度不随时间发生跃变；
2)小运动：随着时间的变化不会引起位置的剧烈变化；
3)空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致；根据以上三个前提，则有假设图像上一个像素点位置为(x,y)，在t时刻的亮度为E，同时用u和v来表示该点光流在水平和垂直方向上的位移分量：
Figure FDA0002715805900000031
Figure FDA0002715805900000032
在经过一段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，当Δt很小趋近于0时，可以认为该点亮度不变，得到公式(6)
E(x,y,t)＝E(x+Δx,y+Δy,t+Δt) (6)
当该点的亮度有变化时，将移动后点的亮度由Taylor公式展开，可得公式(7)：
Figure FDA0002715805900000033
ε指更高阶，在移动足够小的情况下可以忽略；
t时刻的亮度为E，同时用u和v来表示该点光流在水平和垂直方向上的位移分量；
忽略其二阶无穷小，由于Δt趋近于0时有
Figure FDA0002715805900000034
式中w＝(u,v)，I为单位矩阵，所以上式就是基本的光流约束方程，其中令
Figure FDA0002715805900000035
表示图像中像素点灰度沿x，y，t方向的梯度，可将式(9)改写成：
Exu+Eyv+Et＝0 (10)
由光流约束方程对图像中n个像素点建立下式的矩阵方程进行对u,v的求解；
Figure FDA0002715805900000041
4.根据权利要求3所述的一种在动态烟雾中提取疑似烟雾区域的方法，其特征在于：步骤二所述的对有矢量的像素点所在的区域进行分割，形成视频运动块的步骤，具体为：
对具有光流矢量的角点位置信息进行记录，将具有光流矢量的角点，作为运动区域的中心点在原始烟雾图像中进行切片处理，分出烟雾运动块图像。
5.根据权利要求4所述的一种在动态烟雾中提取疑似烟雾区域的方法，其特征在于：步骤二所述的烟雾运动块图像大小为32×24。
CN202011073167.2A 2020-10-09 2020-10-09 一种在动态烟雾中提取疑似烟雾区域的方法 Pending CN112258403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011073167.2A CN112258403A (zh) 2020-10-09 2020-10-09 一种在动态烟雾中提取疑似烟雾区域的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011073167.2A CN112258403A (zh) 2020-10-09 2020-10-09 一种在动态烟雾中提取疑似烟雾区域的方法

Publications (1)

Publication Number Publication Date
CN112258403A true CN112258403A (zh) 2021-01-22

Family

ID=74233638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011073167.2A Pending CN112258403A (zh) 2020-10-09 2020-10-09 一种在动态烟雾中提取疑似烟雾区域的方法

Country Status (1)

Country Link
CN (1) CN112258403A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115595388A (zh) * 2022-10-14 2023-01-13 合肥视展光电科技有限公司（Cn） 基于铁水流动状态的高炉出铁作业控制方法及电子设备
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及***
CN117058161A (zh) * 2023-10-12 2023-11-14 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046827A (zh) * 2019-12-20 2020-04-21 哈尔滨理工大学 一种基于卷积神经网络的视频烟雾检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046827A (zh) * 2019-12-20 2020-04-21 哈尔滨理工大学 一种基于卷积神经网络的视频烟雾检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
姚太伟: "图像型火灾烟雾探测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
孙颖: "基于3D残差密集网络的视频烟雾检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
贺雅楠: "基于卷积神经网络的动态烟雾检测", 《中国优秀博硕士学位论文全文数据库(硕士)农业科技辑》 *
陈长友 等: "面向视频图像的烟雾检测算法综述", 《激光与光电子学进展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115595388A (zh) * 2022-10-14 2023-01-13 合肥视展光电科技有限公司（Cn） 基于铁水流动状态的高炉出铁作业控制方法及电子设备
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及***
CN116977327B (zh) * 2023-09-14 2023-12-15 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及***
CN117058161A (zh) * 2023-10-12 2023-11-14 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法
CN117058161B (zh) * 2023-10-12 2024-02-20 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其***
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN112258403A (zh) 一种在动态烟雾中提取疑似烟雾区域的方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN105913082B (zh) 一种对图像中目标进行分类的方法及***
JP2002288658A (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN110874592A (zh) 一种基于总有界变分的森林火灾烟雾图像检测方法
CN101770583B (zh) 一种基于场景全局特征的模板匹配方法
CN108804992B (zh) 一种基于深度学习的人群统计方法
CN111208479B (zh) 一种降低深度网络检测中虚警概率的方法
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、***及装置
CN111598928B (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN111539987B (zh) 基于判别模型的遮挡检测***及方法
CN107895162B (zh) 基于物体先验的图像显著性目标检测算法
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN113205494A (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和***
WO2019041447A1 (zh) 一种3d视频帧特征点提取的方法及***
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN117011346A (zh) 鼓风机图像配准算法
CN112348853B (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及***
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122