CN108256496A - 一种基于视频的堆场烟雾检测方法 - Google Patents

Abstract

本发明提供一种基于视频的堆场烟雾检测方法，属于烟雾检测领域。本发明技术方案为：a、利用工具将烟雾视频转为图像序列，并绘制烟雾的光流场图像；b、利用深度卷积神经网络获取烟雾图像的高层抽象特征以及完成烟雾光流场图像的检测，并通过迭代训练优化模型参数，根据损失函数评价迭代模型，选择最优的单层网络；c、在单层网络参数的基础上通过叠加网络的形式增加网络深度，再次通过迭代训练优化模型参数，根据损失函数选择最优的叠加网络。本发明通过深度卷积神经网络对烟雾图像进行有效的静态、动态特征提取，其能够实现视频监控下的烟雾实时检测，检测精度高，操作简单，并具有较好的鲁棒性。

Description

一种基于视频的堆场烟雾检测方法

技术领域

本发明属于烟雾检测领域，具体涉及一种基于视频的堆场烟雾检测方法。

背景技术

火灾是最经常、最普遍地威胁公众安全和社会发展的主要灾害之一，实现火灾的早期预警对于保护人类的生命和财产安全不受损害具有重要意义。堆场作为大型的堆存货物的场地，货物种类繁多且化学成分复杂，一旦发生火灾将造成严重的人员伤亡和经济损失。烟雾是火灾产生的早期表现，其作为消防探测的重要手段，已广泛应用于火灾的探测和预警，因此准确地烟雾检测对及早发现火情，实现更早的火灾预警十分重要。

烟雾的检测从本质上来说是一个模式识别问题，烟雾特征的充分获取是识别精度和模型泛化能力的保证。现有的烟雾识别方法中，多是利用静态特征，对于烟雾运动特性的应用基本停留在疑似区域的提取上，即对于烟雾动态特征的提取不充分，这会造成模型分类的准确度达到一定精度后不再增加，类似烟雾的静止物体造成的误报无法通过静态特征消除，因而有必要寻找新的兼具静态和动态特征的提取手段。

深度卷积神经网络是目前烟雾检测方法中烟雾静态特征提取效果最好的一种方法。深度卷积神经网络通过卷积层、池化层和全连接层等基本结构实现网络的参数学习和特征的有效提取，达到烟雾检测的目的。但是这种方法忽略了烟雾扩散的运动特性，难以剔除类烟的静止物体的干扰，例如静止的白色类烟物体、雨后水坑形成的光线反射等，这会导致网络在不同堆场环境下的检测精度和适应性受到影响。因此在如何兼顾烟雾的动态、静态特征提取，实现视频监控条件下烟雾检测精度的进一步提升等方面仍存在改进的空间。

发明内容

本发明的目的是克服以上技术的缺点，提供一种基于视频的堆场烟雾检测方法，其能够实现在堆场环境视频监控条件下，有效的提取烟雾的静态和动态特征，进行实时的烟雾检测，进一步提升检测精度，实现火灾预警，减少财产损失，稳定性更高。

本发明提供的技术方案：

一种基于视频的堆场烟雾检测方法，具体步骤如下：

步骤1，获得样本集X

将收集的视频数据转为图片序列，按前后帧图像分为img1和img2文件夹，根据前后帧对应的图像中烟雾的相对变化绘制光流场图像，并按顺序保存至flow文件夹中，根据img1、img2和flow文件夹中同名图片的路径制作list文本，img1、img2、flow三个文件夹和list文本组成了样本集X；

步骤2，获得最优单层网络模型Y

将步骤1获得的样本集X按比例随机分为训练集、验证集、测试集，其中训练集、验证集放入深度卷积神经网络进行训练，对单层网络模型进行参数微调，不断进行迭代训练，同时计算损失函数，根据损失函数挑选多个初始单层网络模型，通过对测试集进行测试挑选最优单层网络模型Y；

步骤3，获得最优叠加网络模型Z

通过网络叠加的方式对步骤2所得到的最优单层网络模型Y进行网络深度的加深，再次通过迭代训练，并通过损失函数挑选多个初始叠加网络模型，通过对测试集进行测试挑选最优叠加网络模型Z，对堆场环境下的视频监控进行烟雾检测，同时保存检测结果。

在步骤1中，获得样本集X具体步骤包括：

步骤1.1、将收集的视频数据从1开始依次编号并转为图片序列，对同个编号转换而来的图片序列从1开始按顺序命名，命名格式为“视频编号_图片顺序”；图片顺序为奇数的图片视为前帧图像并保存至img1文件夹，图片顺序为偶数的图片视为后帧图像并保存至img2文件夹，当同个编号下的图片序列为奇数张时，则剔除最后一张图片；

步骤1.2、将img1和img2文件夹中的图片分别再次从1开始依次修改图片顺序，视频编号不变，命名格式依旧为“视频编号_图片顺序”；

步骤1.3、根据img1和img2文件夹下对应的同名图片中烟雾的相对变化绘制光流场图像，按照“视频编号_图片顺序”的命名格式保存至flow文件夹；

步骤1.4、根据步骤1.2得到的img1、img2文件夹中和步骤1.3得到的flow文件夹中同名图片的路径制作list文本，img1、img2、flow三个文件夹和list文本组成了样本集X。

在步骤2中，获得最优单层网络模型Y的具体步骤包括：

步骤2.1、将样本集X按9:1的比例以随机的方式分为训练集X₁和测试集X₂，将训练集X₁同样按9:1的比例以随机方式分为训练集X₁₁与验证集X₁₂；

步骤2.2、将训练集X₁放入含关联层、缩小部分、放大部分的深度卷积神经网络模型中进行训练，其中，训练集X₁₁Y₁₁用来微调模型参数，验证集X₁₂Y₁₂用来确定模型结构；list文本中路径对应的img1、img2和flow文件夹中的三张同名图片作为一组输入；

步骤2.3、输入图像中img1和img2对应的图片通过网络的关联层计算关联信息，并通过网络缩小部分中的卷积层提取图像抽象的高层特征；输入图像中flow对应的图片与缩小部分提取的高层特征参与到后续网络的放大部分，完成特征图的放大、光流场图像的检测；

步骤2.4、通过模型的光流场图像的检测结果与输入图像flow对应的光流场图像计算损失函数并评价训练模型，设像素点总数为N，像素点i处输入光流值为光流估计值为则损失函数L的计算公式为：

步骤2.5、选取损失函数低的模型作为初始单层网络模型，使用测试集X₂来测试模型精度，依旧以损失函数L作为评估标准，选择最好的模型作为最优单层网络模型Y。

在步骤3中，获取最优叠加网络模型Z的具体步骤包括：

步骤3.1、将最优单层网络模型Y作为叠加网络的第一个网络，在该网络后设置一个扭曲层，扭曲层将网络输入img2中对应的图像，并根据网络输出的光流场图像进行位置变化，I₁、I₂分别为img1和img2对应图像，为扭曲操作后的img2对应图像，(x,y)为图像上的坐标点，w_i＝(u_i,v_i)^T为像素点i点处的估计光流，扭曲操作J_w(x)定义如式(3)所示：

步骤3.2、将扭曲层输出的扭曲图像、img1对应图像、误差图像以及第一个网络输出的光流场图像拼接，作为下一个网络的输入；误差图像e_i定义如下：

步骤3.3、将拼接层的输出作为下一个网络的输入，第二个网络取消关联层，其余设置与未迭代训练前的最优单层网络模型Y一致，重复步骤2中2.2和2.5两步进行迭代训练获得最优叠加网络模型Z。

本发明的有益效果：本发明通过深度卷积神经网络对烟雾图像进行有效的静态、动态特征提取，其能够实现视频监控下的烟雾实时检测，检测精度高，操作简单，并具有较好的鲁棒性。

附图说明

附图1为本发明的流程图。

具体实施方式

以下结合具体附图和实施例对本发明做进一步说明。

如图所示：将收集的视频转为图片序列，并按顺序编号，对转换工具以及图片格式没有特殊要求，本实施例中，转换工具采用自制python工具，图片格式为jpg格式；

对图片中存在烟雾的区域以光流图像的形式绘制出来，对绘制工具没有特殊要求，本实施例中，绘制工具采用Photoshop工具；

将img1、img2和flow文件夹中对应图像和光流图像的路径保存在list文本中，一组输入应在同一行，路径名与路径名用一个制表符隔开；

样本集X由img1和img2两个图片文件夹，一个flow光流图文件夹和一个对应信息list文本组成；

将样本集X按9:1的比例以随机的方式分为训练集X₁和测试集X₂，将训练集X₁同样按9:1的比例随机方式分为训练集X₁₁与验证集X₁₂，test.txt是测试集，train.txt是训练集，val.txt是验证集，trainval.txt是训练和验证集.；

利用最优叠加网络模型Z，对堆场环境下视频监控进行烟雾检测，在实时检测界面显示现场环境，若模型认为有烟雾出现，则标注烟雾区域，保存模型检测到的烟雾区域。

Claims (5)

1.一种基于视频的堆场烟雾检测方法，其特征在于，步骤如下：

步骤1，获得样本集X

将收集的视频数据转为图片序列，按前后帧图像分为img1和img2文件夹，根据前后帧对应的图像中烟雾的相对变化绘制光流场图像，并按顺序保存至flow文件夹中，根据img1、img2和flow文件夹中同名图片的路径制作list文本，img1、img2、flow三个文件夹和list文本组成了样本集X；

步骤2，获得最优单层网络模型Y

将步骤1获得的样本集X按比例随机分为训练集、验证集、测试集，其中训练集、验证集放入深度卷积神经网络进行训练，对单层网络模型进行参数微调，不断进行迭代训练，同时计算损失函数，根据损失函数挑选多个初始单层网络模型，通过对测试集进行测试挑选最优单层网络模型Y；

步骤3，获得最优叠加网络模型Z

通过网络叠加的方式对步骤2所得到的最优单层网络模型Y进行网络深度的加深，再次通过迭代训练，并通过损失函数挑选多个初始叠加网络模型，通过对测试集进行测试挑选最优叠加网络模型Z，对堆场环境下视频监控进行烟雾检测，同时保存检测结果。

2.如权利要求1所述的基于视频的堆场烟雾检测方法，其特征在于，所述的步骤1获得样本集X的方法包含以下步骤：

步骤1.1、将收集的视频数据从1开始依次编号并转为图片序列，对同个编号转换而来的图片序列从1开始按顺序命名，命名格式为“视频编号_图片顺序”；图片顺序为奇数的图片视为前帧图像并保存至img1文件夹，图片顺序为偶数的图片视为后帧图像并保存至img2文件夹，当同个编号下的图片序列为奇数张时，则剔除最后一张图片；

步骤1.2、将img1和img2文件夹中的图片分别再次从1开始依次修改图片顺序，视频编号不变，命名格式依旧为“视频编号_图片顺序”；

步骤1.3、根据img1和img2文件夹下对应的同名图片中烟雾的相对变化绘制光流场图像，按照“视频编号_图片顺序”的命名格式保存至flow文件夹；

步骤1.4、根据步骤1.2得到的img1、img2文件夹中和步骤1.3得到的flow文件夹中同名图片的路径制作list文本，img1、img2、flow三个文件夹和list文本组成了样本集X。

3.如权利要求1或2所述的基于视频的堆场烟雾检测方法，其特征在于，所述的步骤2获得最优单层网络模型Y的方法包含以下步骤：

步骤2.1、将样本集X按9:1的比例以随机的方式分为训练集X₁和测试集X₂，将训练集X₁同样按9:1的比例以随机方式分为训练集X₁₁与验证集X₁₂；

步骤2.2、将训练集X₁放入含关联层、缩小部分、放大部分的深度卷积神经网络模型中进行训练，其中，训练集X₁₁Y₁₁用来微调模型参数，验证集X₁₂Y₁₂用来确定模型结构；list文本中路径对应的img1、img2和flow文件夹中的三张同名图片作为一组输入；

步骤2.3、输入图像中img1和img2对应的图片通过网络的关联层计算关联信息，并通过网络缩小部分中的卷积层提取图像抽象的高层特征；输入图像中flow对应的图片与缩小部分提取的高层特征参与到后续网络的放大部分，完成特征图的放大、光流场图像的检测；

步骤2.4、通过模型的光流场图像的检测结果与输入图像flow对应的光流场图像计算损失函数并评价训练模型，设像素点总数为N，像素点i处输入光流值为光流估计值为则损失函数L的计算公式为：

步骤2.5、选取损失函数低的模型作为初始单层网络模型，使用测试集X₂来测试模型精度，依旧以损失函数L作为评估标准，选择最好的模型作为最优单层网络模型Y。

4.如权利要求1或2所述的基于视频的堆场烟雾检测方法，其特征在于，所述的步骤3获得最优叠加网络模型Z的方法包含以下步骤：

步骤3.1、将最优单层网络模型Y作为叠加网络的第一个网络，在该网络后设置一个扭曲层，扭曲层将网络输入img2中对应的图像，并根据网络输出的光流场图像进行位置变化，I₁、I₂分别为img1和img2对应图像，为扭曲操作后的img2对应图像，(x,y)为图像上的坐标点，w_i＝(u_i,v_i)^T为像素点i点处的估计光流，扭曲操作J_w(x)定义如式(3)所示：

步骤3.2、将扭曲层输出的扭曲图像、img1对应图像、误差图像以及第一个网络输出的光流场图像拼接，作为下一个网络的输入；误差图像e_i定义如下：

步骤3.3、将拼接层的输出作为下一个网络的输入，第二个网络取消关联层，其余设置与未迭代训练前的最优单层网络模型Y一致，重复步骤2中2.2和2.5两步进行迭代训练获得最优叠加网络模型Z。

5.如权利要求3所述的基于视频的堆场烟雾检测方法，其特征在于，所述的步骤3获得最优叠加网络模型Z包含以下步骤：

步骤3.1、将最优单层网络模型Y作为叠加网络的第一个网络，在该网络后设置一个扭曲层，扭曲层将网络输入img2中对应的图像，并根据网络输出的光流场图像进行位置变化，I₁、I₂分别为img1和img2对应图像，为扭曲操作后的img2对应图像，(x,y)为图像上的坐标点，w_i＝(u_i,v_i)^T为像素点i处的估计光流，扭曲操作J_w(x)定义如式(3)所示：

步骤3.2、将扭曲层输出的扭曲图像、img1对应图像、误差图像以及第一个网络输出的光流场图像拼接，作为下一个网络的输入；误差图像e_i定义如下：

步骤3.3、将拼接层的输出作为下一个网络的输入，第二个网络取消关联层，其余设置与未迭代训练前的最优单层网络模型Y一致，重复步骤2中2.2和2.5两步进行迭代训练获得最优叠加网络模型Z。