CN108428324A - 一种基于卷积网络的火灾场景中烟雾的检测装置 - Google Patents

Abstract

本发明提供一种基于卷积网络的火灾场景中烟雾的检测方法及装置，所述方法包括：获取待检测火灾场景影像中n张连续图像，其中n≥3；将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果。本发明基于检测火灾场景影像中静态特征实现对烟雾的检测，具有高效、准确识别火灾场景中烟雾信息的有益效果。

Description

一种基于卷积网络的火灾场景中烟雾的检测装置

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种基于卷积网络的火灾场景中烟雾的检测方法及装置。

背景技术

火灾能对人类生产生活造成巨大损害。以NFPA提供的数据为例，美国2015年总共发生约134万场火灾，3千人死于火灾中，1.5万人受伤，造成143亿美元损失，防火部门每隔23秒就要应对一次火灾的发生。据统计火灾预警的时间越迟，其伤亡人员可能性越高，财产损失越大。而烟雾作为火灾初期产生的重要特征，如果能通过视觉装置有效的捕捉到烟雾，就能在火情尚未扩大时提供及时、有效的预警，从而减小人员伤亡和财产损失的几率。由于监控相机相易于架设且存在普遍，因此开展基于视觉的烟雾检测研究具有实际应用意义。现有技术中存在通过静态特征方法对火灾场景中烟雾的检测方案。

但由于通过静态特征方法无法很好的区分火灾场景中烟雾、泉水、云、雾霾和水汽等物体，为了提高识别准确率，现有技术中研究人员通过引入动态特征例(如运动速度、方向，纹理变化等)来进行烟雾识别。Yu等人^[3]通过光流法来确定、跟踪图像中的移动区域，但需要通过颜色特征来判断该区域是否包含烟雾。Lu和Xie等人^[4]利用spatio-temporalmultiresolution histogram来获得图像中像素点间的速度与加速度特征并与理想烟雾图片中的特征相比，通过相似程度大小来确定原图中是否存在烟雾。Yuan等人^[5]通过帧差法，统计一段时间内多帧图像的运动区域，从而得到烟雾的动态累积量，但需通过烟雾透明性质来确定运动区域是否为含有烟雾。Simone等人^[6]提取了烟雾颜色、纹理变化特征，通过贝叶斯模型来判断烟雾。Wei等人^[7]利用表面波和马尔科夫树模型建立一种新的烟雾的动态纹理描述算子，最后通过支持向量机进行烟雾和非烟雾的分类识别目的。

上述现有技术中利用动态特征方法由于依靠人工提取特征并制定筛选规则，不能完整挖掘出烟雾时空特征，对分类规则的制定也只能从低维角度进行判断存在一定的缺陷，因而结合烟雾的静态特征来提高识别准确率，使得方法不仅繁琐，也不能很好的适用于复杂条件下的烟雾识别。

发明内容

为了解决上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的基于卷积网络的火灾场景中烟雾的检测方法及装置。

根据本发明实施例的第一方面，提供了一种火灾场景中烟雾的检测方法，包括：

获取待检测火灾场景影像中n张连续图像，其中n≥3；

将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、全连接层和softmax函数。

进一步，将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果，之前还包括：

获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练。

进一步，获取训练样本集；对训练样本集进行标注；基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练，进一步包括：

获取训练样本图像；

对训练样本图像所对应的标准检测矩阵Y进行标注；将训练样本图像输入烟雾检测卷积网络，获得训练检测矩阵

重复执行上一步骤，通过调整烟雾检测卷积网络的参数，最终使得Y与的差异loss(θ)达到最小。

进一步，所述烟雾检测卷积网络进一步用于：

获取待检测火灾场景影像中n张连续图像，将n张连续图像依次输入5个3×3×3的3D卷积层，其中，在5个3D卷积层中依次将输入的连续图像输出为64、128、256、512和512通道；

将最后一个3D卷积层的输出依次输入两个全连接层，将动态信息转变为1024个特征；

将全连接层的输出，输入到softmax函数中，判断待检测火灾场景影像中是否包含烟雾。

进一步，Y与的差异loss(θ)通过以下公式计算获得：

其中，N为一组训练样本图像的数量；j为判断错的样本图像的编号；y_i为标注过的标签；p_j为判断正确分类的概率；p_yi为判断错误分类中的最大概率值；w为第二个全连接层的所有权重的二阶范数。

根据本发明另一个方面，提供一种火灾场景中烟雾的检测装置，包括：

A1，获取模块，用于获取待检测火灾场景影像中n张连续图像，其中n≥3；

S2，检测模块，用于将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、全连接层和softmax函数。

进一步，将待检测火灾场景的图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中各像素为烟雾的概率，之前还包括：

获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练。

进一步，所述烟雾检测卷积网络进一步用于：

获取待检测火灾场景影像中n张连续图像，将n张连续图像依次输入5个3×3×3的3D卷积层，其中，在5个3D卷积层中依次将输入的连续图像输出为64、128、256、512和512通道；

将最后一个3D卷积层的输出依次输入两个全连接层，将动态信息转变为1024个特征；

将全连接层的输出，输入到softmax函数中，判断待检测火灾场景影像中是否包含烟雾。

根据本发明的又一个方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一所述的方法。

根据本发明的又一个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一项所述的方法。

本发明提供一种基于卷积网络的火灾场景中烟雾的检测方法及装置，所述方法包括：获取待检测火灾场景影像中n张连续图像，其中n≥3；将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果。本发明基于检测火灾场景影像中静态特征实现对烟雾的检测，具有高效、准确识别火灾场景中烟雾信息的有益效果。

附图说明

图1为本发明实施例的一种基于卷积网络的火灾场景中烟雾的检测方法的整体流程示意图；

图2为本发明实施例的一种基于卷积网络的火灾场景中烟雾的检测方法中烟雾检测卷积网络的框架示意图；

图3为本发明实施例的一种基于卷积网络的火灾场景中烟雾的检测装置的整体框架示意图；

图4是本发明实施例的一种电子设备的框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1，示出本发明实施例一种基于卷积网络的火灾场景中烟雾的检测方法的总体流程示意图，包括：

S1，获取待检测火灾场景影像中n张连续图像，其中n≥3；

S2，将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、全连接层和softmax函数。

具体地，本发明实施例基于动态特征，提出了基于卷积网络的烟雾检测方法，不但能检测场景中是否发生烟、雾和火光，而且能够分辨出场景中哪儿发生了烟雾。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中烟雾的检测方法，S2，将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果，之前还包括：

S0，获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练。

其中，需要说明的是，此处S0既可以在S1之前，也可以在S1之后，也可以同时进行，本发明实施例对于S0与S1之间的时序关系不作特殊限定。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中烟雾的检测方法，S0，获取训练样本集；对训练样本集进行标注；基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练，进一步包括：

获取训练样本图像；

对训练样本图像所对应的标准检测矩阵Y进行标注；将训练样本图像输入烟雾检测卷积网络，获得训练检测矩阵

重复执行上一步骤，通过调整烟雾检测卷积网络的参数，最终使得Y与的差异loss(θ)达到最小。

其中，将训练样本图像输入待训练的烟雾检测卷积网络，得到检测矩阵检测矩阵与标注过的检测矩阵Y间存在差异loss(θ)，其中θ为烟雾检测卷积网络的参数。训练的过程就是反复多次调整参数θ，让差异loss(θ)最小。也就是:

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中烟雾的检测方法，如图2所示，所述烟雾检测卷积网络进一步用于：

获取待检测火灾场景影像中n张连续图像，将n张连续图像依次输入5个3×3×3的3D卷积层，其中，在5个3D卷积层中依次将输入的连续图像输出为64、128、256、512和512通道；

将最后一个3D卷积层的输出依次输入两个全连接层，将动态信息转变为1024个特征；

将全连接层的输出，输入到softmax函数中，判断待检测火灾场景影像中是否包含烟雾。

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中烟雾的检测方法，Y与的差异loss(θ)通过以下公式计算获得：

其中，N为一组训练样本图像的数量；j为判断错的样本图像的编号；y_i为标注过的标签；p_j为判断正确分类的概率；p_yi为判断错误分类中的最大概率值；w为第二个全连接层的所有权重的二阶范数。

其中，loss(θ)包括两项，一项是正确类别的概率s_j和错误类别中的最大概率s_yi，另一项是阻止过拟合的规范化项。

如图3，示出本发明实施例一种基于卷积网络的火灾场景中烟雾的检测方法装置的总体框架示意图，包括：

A1，获取模块，用于获取待检测火灾场景影像中n张连续图像，其中n≥3；

S2，检测模块，用于将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、全连接层和softmax函数。

具体地，本发明实施例基于动态特征，提出了基于卷积网络的烟雾检测方法，不但能检测场景中是否发生烟、雾和火光，而且能够分辨出场景中哪儿发生了烟雾。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中烟雾的检测装置，还包括训练模块，用于：

获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练。

其中，需要说明的是，此处S0既可以在S1之前，也可以在S1之后，也可以同时进行，本发明实施例对于S0与S1之间的时序关系不作特殊限定。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中烟雾的检测装置，训练模块，进一步用于：

获取训练样本图像；

对训练样本图像所对应的标准检测矩阵Y进行标注；将训练样本图像输入烟雾检测卷积网络，获得训练检测矩阵

重复执行上一步骤，通过调整烟雾检测卷积网络的参数，最终使得Y与的差异loss(θ)达到最小。

其中，将训练样本图像输入待训练的烟雾检测卷积网络，得到检测矩阵检测矩阵与标注过的检测矩阵Y间存在差异loss(θ)，其中θ为烟雾检测卷积网络的参数。训练的过程就是反复多次调整参数θ，让差异loss(θ)最小。也就是:

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中烟雾的检测装置，如图2所示，所述烟雾检测卷积网络进一步用于：

获取待检测火灾场景影像中n张连续图像，将n张连续图像依次输入5个3×3×3的3D卷积层，其中，在5个3D卷积层中依次将输入的连续图像输出为64、128、256、512和512通道；

将最后一个3D卷积层的输出依次输入两个全连接层，将动态信息转变为1024个特征；

将全连接层的输出，输入到softmax函数中，判断待检测火灾场景影像中是否包含烟雾。

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中烟雾的检测装置，Y与的差异loss(θ)通过以下公式计算获得：

其中，N为一组训练样本图像的数量；j为判断错的样本图像的编号；y_i为标注过的标签；p_j为判断正确分类的概率；p_yi为判断错误分类中的最大概率值；w为第二个全连接层的所有权重的二阶范数。

在本发明上述任一具体实施例的基础上，提供一种电子设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中，图4是本发明实施例提供的电子设备的结构框图，包括：处理器(processor)410、存储器(memory)420和总线430，其中，处理器410，存储器420通过总线430完成相互间的通信。处理器410可以调用存储器420中的逻辑指令，以执行如下方法：获取至少一张待检测火灾场景的图像；将待检测烟雾场景的图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中烟雾为烟、雾和火光中的至少一种。

本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取至少一张待检测火灾场景的图像；将待检测烟雾场景的图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中烟雾为烟、雾和火光中的至少一种。

本发明实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取至少一张待检测火灾场景的图像；将待检测烟雾场景的图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中烟雾为烟、雾和火光中的至少一种。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

本发明基于检测火灾场景影像中静态特征实现对烟雾的检测，具有高效、准确识别火灾场景中烟雾信息的有益效果。

最后，本申请说明书中详述的方法和装置仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (3)

1.一种基于卷积网络的火灾场景中烟雾的检测装置，其特征在于，包括

A1，获取模块，用于获取待检测火灾场景影像中n张连续图像，其中n≥3；

S2，检测模块，用于将n张连续图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中是否包含烟雾的检测结果；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、全连接层和softmax函数。

2.根据权利要求1所述的装置，其特征在于，将待检测火灾场景的图像输入预先训练得到的烟雾检测卷积网络，输出得到待检测火灾场景中各像素为烟雾的概率，之前还包括：

获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对烟雾检测卷积网络进行训练。

3.根据权利要求2所述的装置，其特征在于，所述烟雾检测卷积网络进一步用于：

获取待检测火灾场景影像中n张连续图像，将n张连续图像依次输入5个3×3×3的3D卷积层，其中，在5个3D卷积层中依次将输入的连续图像输出为64、128、256、512和512通道；

将最后一个3D卷积层的输出依次输入两个全连接层，将动态信息转变为1024个特征；

将全连接层的输出，输入到softmax函数中，判断待检测火灾场景影像中是否包含烟雾。