CN108805013A - 一种基于视频的烟雾检测*** - Google Patents

Abstract

本发明适用于技术领域，提供了一种基于视频的烟雾检测***。该***包括摄像头、视频分析终端和视频分析管理平台；所述摄像头，用于采集监控区域的视频数据，并将所述视频数据发送至视频分析终端；所述视频分析终端，获取所述第三候选图像块的特征向量，并将所述特征向量输入预设的模型中，若输出结果满足第四预设条件，则确定当前帧的原始图像块为烟雾图像块，并将原始图像所属监控区域的隐患信息发送至视频分析管理平台；所述视频分析管理平台，用于对监控区域的隐患信息进行监控，若异常则进行报警处理。本发明采用计算机视觉技术和人工智能技术实现对监控区域的实时探测，并找到烟雾出现的位置，从而能够准确地对着火点进行定位。

Description

一种基于视频的烟雾检测***

技术领域

本发明属于技术领域，尤其涉及一种基于视频的烟雾检测***。

背景技术

传统的火灾探测技术主要采用烟感探测器、红外探测器、紫外探测器等，当探测器超过给定阈值，则探测器报警，但它们不适于高大空间建筑及开阔区域(如草原、森林、隧道、机场、商场、大型仓库等)及存在响应速度慢、误报率高等问题。而基于视频的烟雾检测方法采用计算机视觉技术、人工智能技术实现对监控区域的实时探测，并找到烟雾出现的位置，从而能够准确地对着火点进行定位，避免火灾的发生和蔓延。此技术的优势有：能够对大范围的场景进行烟雾监控，响应速度快、环境污染小。

现有的基于图像的烟雾检测方法采用了烟雾的一些特征来识别，如颜色、轮廓、模糊、纹理等。由于烟雾的复杂性及无规律性，存在抗干扰性不高和适应性差等缺陷，从而导致误报率高。

发明内容

有鉴于此，本发明实施例提供了一种基于视频的烟雾检测***，以解决现有技术中基于视频的烟雾检测方法存在误报率高的问题。

本发明实施例的第一方面提供了一种基于视频的烟雾检测***，包括摄像头、视频分析终端和视频分析管理平台；

所述摄像头，用于采集监控区域的视频数据，并将所述视频数据发送至视频分析终端；

所述视频分析终端，用于对视频流进行运动检测，获取运动目标区域图像，并对每帧运动目标区域图像进行分块得到原始图像块；

对当前帧的原始图像块进行颜色检测，获得颜色满足第一预设条件的第一候选图像块；

对所述第一候选图像块进行能量检测，获得能量满足第二预设条件的第二候选图像块；

对所述第二候选图像块中运动目标的运动方向进行检测，获得运动方向满足第三预设条件的第三候选图像块；

获取所述第三候选图像块的特征向量，并将所述特征向量输入预设的模型中，若输出结果满足第四预设条件，则确定当前帧的原始图像块为烟雾图像块，并将原始图像所属监控区域的隐患信息发送至视频分析管理平台；

所述视频分析管理平台，用于对监控区域的隐患信息进行监控，若异常则进行报警处理。

可选地，第一预设条件包括RGB颜色空间条件和YUV颜色空间条件，所述视频分析终端具体用于，

获取当前帧的原始图像块中满足预定关系的像素点个数，若像素点个数与原始图像块中总像素个数的比值大于或等于预设比例，则确定该原始图像块中的烟雾满足所述RGB颜色空间条件，所述预设比例为大于零小于1的常数；所述预定关系为：max(r,g,b)-min(r,g,b)≤τ，且I＝(r+g+b)/3；其中，r,g,b 分别为像素在R、G和B通道上的值，τ为颜色阈值，max(r,g,b)表示r,g,b中的最大值，min(r,g,b)表示r,g,b中的最小值，I为像素亮度；

将RGB颜色空间转换成YUV颜色空间，并计算原始图像块在y、u和v通道上的均值和计算公式如下： 其中，N为原始图像块中像素点的个数，(x_i,y_i)为第i个图像点坐标，y(x_i,y_i)、u(x_i,y_i)和v(x_i,y_i)分别为第i个图像点在Y、U和V通道上的值；

根据当前帧的原始图像块中的背景图像块平均值和当前图像块平均值的变化情况，判断是否满足YUV颜色空间条件：

其中，分别为当前图像块在y、u和v通道上的平均值，分别为与所述当前图像块对应的背景图像块在y、u和v通道上的平均值，τ和τ_y为固定的常数；

将同时满足所述RGB颜色空间条件和所述YUV颜色空间条件的原始图像块作为第一候选图像块。

可选地，所述视频分析终端具体用于，

将第一候选图像块转换成灰度图像块；

对灰度图像块进行二维离散小波变换，计算灰度图像块中背景图像块的第一频率能量与第二频率能量，以及前景图像块的第一频率能量与第二频率能量；

计算背景图像块的第一频率能量和前景图像块的第一频率能量的比值，以及背景图像块的第二频率能量和前景图像块的第二频率能量的比值，满足下列条件：

e_HB/e_HF≥1.05且e_LB/e_LF≤0.9，则将第一烟雾图像块中满足第一频率能量减少且第二频率能量增加的图像块确定为第二候选图像块；其中，e_HB和e_HF分别为背景图像块和前景图像块的第一频率能量，e_LB和e_LF分别为背景图像块和前景图像块的第二频率能量。

可选地，所述视频分析终端具体用于，

将第二候选图像块的前一帧进行灰度变换获得灰度图像,并分成若干个大小相同的图像块；

选取N个方向，分别计算N个方向上前一帧灰度图像块和当前帧灰度图像块的Pearson相关系数，从所述N个方向中选取Pearson相关系数最大的方向作为当前图像块的运动主方向，Pearson相关系数计算***如下：

其中，g_n和g_n-1分别表示当前帧和前一帧灰度值，(x_i,y_i)表示像素坐标，N 为图像块中像素点个数，dx和dy分别表示偏移量；

若所述运动主方向与预设的运动方向一致，则确定所述第二候选图像块为第三候选图像块。

可选地，所述视频分析终端具体用于，

将中间图像对应值与最后一幅图像对应值相乘，得到对应的LBP值，其中， LBP计算公式为：

其中，P为当前像素点的邻域点个数，R为邻域半径；

统计0到255的二进制形式中跳变次数小于等于2的数据集的个数M，其余的当成另一类；其中，跳变次数的计算公式为：

统计M+1类数据的出现次数，将每类出现的概率组合作为M+1维特征向量；

将所述M+1维特征向量输入Adaboost烟雾分类模型，若输出结果为正，则则确定当前帧的原始图像块为烟雾图像块。

可选地，所述视频分析终端还用于，

若确定连续Z帧原始图像块为烟雾图像块，且所述Z帧原始图像块中相邻原始图像块的重叠部分小于第一阈值和/或边界之差大于第二阈值，则确定为非烟雾模块，Z为大于1的整数。

本发明实施例，通过所述摄像头采集监控区域的视频数据，并将所述视频数据发送至视频分析终端；视频分析终端对视频流进行运动检测，获取运动目标区域图像，并对每帧运动目标区域图像进行分块得到原始图像块；对当前帧的原始图像块进行颜色检测，获得颜色满足第一预设条件的第一候选图像块；对所述第一候选图像块进行能量检测，获得能量满足第二预设条件的第二候选图像块；对所述第二候选图像块中运动目标的运动方向进行检测，获得运动方向满足第三预设条件的第三候选图像块；获取所述第三候选图像块的特征向量，并将所述特征向量输入预设的模型中，若输出结果满足第四预设条件，则确定当前帧的原始图像块为烟雾图像块，并将原始图像所属监控区域的隐患信息发送至视频分析管理平台；所述视频分析管理平台，用于对监控区域的隐患信息进行监控，若异常则进行报警处理。本发明实施例，采用计算机视觉技术和人工智能技术实现对监控区域的实时探测，并找到烟雾出现的位置，从而能够准确地对着火点进行定位，避免火灾的发生和蔓延，具有较强的实用性和易用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的基于视频的烟雾检测方法的实现流程示意图；

图2是本发明实施例一提供的基于视频的烟雾检测方法的实现流程示意图；

图3是本发明实施例中烟雾图像块运动方向的示意图；

图4是本发明实施例提供的LBP值的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

图1示出了本发明实施例一提供的基于视频的烟雾检测***10的示意图。

基于视频的烟雾检测***10包括摄像头11、视频分析终端12和视频分析管理平台13。

可选地，如图2所示，视频分析管理平台13、设置于本地的N个视频分析终端12和每一个视频分析终端12连接m个网络摄像头，所述N和m均为大于等于1的正整数；视频分析终端12通过互联网与视频分析管理平台13、摄像头11通讯。其中，视频分析终端12至少包括：网络通讯模块、视频分析模块、视频存储模块及电源模块。可选地，所述网络通讯模块获取摄像头11拍摄的视频并存储于所述视频存储模块；所述视频分析模块解析并识别该视频中的预设消防隐患，并将所述预设消防隐患通过所述网络通讯模块上传至视频分析管理平台13。所述视频分析模块包括FPGA或MCU的任一种。所述预设消防隐患包括火焰、烟雾、消防控制室是否有人及消防通道是否堵塞的任一种或多种。所述网络通讯模块包括有线网络通讯模块和/或无线网络通讯模块。

摄像头11，用于采集监控区域的视频数据，并将所述视频数据发送至视频分析终端。

视频分析终端12，用于对视频流进行运动检测，获取运动目标区域图像，并对每帧运动目标区域图像进行分块得到原始图像块。

其中，使用混合高斯模型对监控视频的视频流进行运动检测，检测前景。基于统计方法建立背景模型，将前景与背景进行分离来实现对场景中运动目标的检测，并不断更新背景模型。获取运动目标区域图像，并对每帧运动目标区域图像进行分块得到原始图像块。

视频分析终端12，用于对当前帧的原始图像块进行颜色检测，获得颜色满足第一预设条件的第一候选图像块。

可选地，所述第一预设条件包括RGB颜色空间条件和YUV颜色空间条件，视频分析终端12，具体用于，

获取当前帧的原始图像块中满足预定关系的像素点个数，若像素点个数与原始图像块中总像素个数的比值大于或等于预设比例，则确定该原始图像块中的烟雾满足所述RGB颜色空间条件，所述预设比例为大于零小于1的常数；所述预定关系为：max(r,g,b)-min(r,g,b)≤τ，且I＝(r+g+b)/3；其中，r,g,b 分别为像素在R、G和B通道上的值，τ为颜色阈值，max(r,g,b)表示r,g,b中的最大值，min(r,g,b)表示r,g,b中的最小值，I为像素亮度；

例如，τ(15≤τ≤20)为颜色阈值，I(80≤I≤220)为像素亮度。统计每个图像块中满足RGB颜色条件的像素点个数，若像素点个数不少于整个图像块中总像素个数的20％，则确定满足第一条件。

视频分析终端12，具体用于，将RGB颜色空间转换成YUV颜色空间，并计算原始图像块在y、u和v通道上的均值和计算公式如下：其中，N为原始图像块中像素点的个数，(x_i,y_i)为第i个图像点坐标，y(x_i,y_i)、u(x_i,y_i)和v(x_i,y_i)分别为第i个图像点在Y、U和V通道上的值；

其中，转换公式可以为：

根据当前帧的原始图像块中的背景图像块平均值和当前图像块平均值的变化情况，判断是否满足YUV颜色空间条件：

其中，分别为当前图像块在y、u和v通道上的平均值，分别为与所述当前图像块对应的背景图像块在y、u和v通道上的平均值，τ和τ_y为固定的常数；

其中，一般情形下，τ＝10，τ_y＝55

视频分析终端12，具体用于，将同时满足所述RGB颜色空间条件和所述YUV 颜色空间条件的原始图像块作为第一候选图像块。

视频分析终端12，用于，对所述第一候选图像块进行能量检测，获得能量满足第二预设条件的第二候选图像块。

可选地，视频分析终端12，具体用于，将第一候选图像块转换成灰度图像块。

视频分析终端12，具体用于，对灰度图像块进行二维离散小波变换，计算灰度图像块中背景图像块的第一频率能量与第二频率能量，以及前景图像块的第一频率能量与第二频率能量。

其中，小波变换后的灰度图像块，由四部分组成，左上角LL，右上角HL，左下角LH和右下角HH。

其中，第一频率能量为高频能量，第二频率能量为低频能量；

则，图像块中高频能量的表达式为为：

图像块中低频能量的表达式为：

视频分析终端12，具体用于，计算背景图像块的第一频率能量和前景图像块的第一频率能量的比值，以及背景图像块的第二频率能量和前景图像块的第二频率能量的比值，满足下列条件：

e_HB/e_HF≥1.05且e_LB/e_LF≤0.9，则将第一烟雾图像块中满足第一频率能量减少且第二频率能量增加的图像块确定为第二候选图像块；其中，e_HB和e_HF分别为背景图像块和前景图像块的第一频率能量，e_LB和e_LF分别为背景图像块和前景图像块的第二频率能量。

视频分析终端12，用于，判断第二烟雾图像块的运动方向，将第二图像块中运动方向属于预设方向的子图像块确定为第三烟雾图像块。

可选地，视频分析终端12，具体用于，将第二候选图像块的前一帧进行灰度变换获得灰度图像,并分成若干个大小相同的图像块。

视频分析终端12，具体用于，选取N个方向，分别计算N个方向上前一帧灰度图像块和当前帧灰度图像块的Pearson相关系数，从所述N个方向中选取 Pearson相关系数最大的方向作为当前图像块的运动主方向，Pearson相关系数计算方法如下：

其中，g_n和g_n-1分别表示当前帧和前一帧灰度值，(x_i,y_i)表示像素坐标，N 为图像块中像素点个数，dx和dy分别表示偏移量。

例如，选取N＝17,则在17个方向上(与当前帧图像块对应位置周围的5x5 个图像块)分别计算前帧灰度图像块和当前帧灰度图像块的Pearson相关系数，选取最大值当作当前图像块的运动主方向。Pearson相关系数计算方法如下：

其中，g_n和g_n-1分别表示当前帧和前一帧灰度值，(x_i,y_i)表示像素坐标，N 为图像块中像素点个数，dx(dx∈[-22])和dy(dy∈[-22])分别表示偏移量(取值： -2，-1，0，1，2)。

视频分析终端12，具体用于，若所述运动主方向与预设的运动方向一致，则确定所述第二候选图像块为第三候选图像块。

计算第二候选图像块的运动方向，若与预设方向一致(均为向上)，则当第二烟雾图像块的运动方向为左上、向上或右上(如图3中的方向2至方向8)，则此图像块为候选烟第三烟雾图像块雾图像块。

视频分析终端12，用于，获取所述第三候选图像块的特征向量，并将所述特征向量输入预设的模型中，若输出结果满足第四预设条件，则确定当前帧的原始图像块为烟雾图像块。

视频分析终端12，具体用于，将中间图像对应值与最后一幅图像对应值相乘，得到对应的LBP值，其中，LBP计算公式为：

其中，P为当前像素点的邻域点个数，R为邻域半径。

对图像中的每个像素点，将3x3邻域中每个像素与当前像素的灰度值进行比较，将中间图像对应值与最后一幅图像对应值相乘就可求得对应的LBP值，如图4所示，LBP＝1+4+8+16+32+128＝189。

视频分析终端12，具体用于，统计0到255的二进制形式中跳变次数小于等于2的数据集的个数M，其余的当成另一类；其中，跳变次数的计算公式为：

视频分析终端12，具体用于，统计M+1类数据的出现次数，将每类出现的概率组合作为M+1维特征向量。

对于步骤S502和S503，统计0到255的二进制形式中跳变(相邻数字间0 到1，1到0)次数小于等于2的数据集，共有58个，其余的当成另一类。统计59类数据的出现次数，将每类出现的概率组合作为特征向量(59维)。其中跳变次数的计算为：

视频分析终端12，具体用于，将所述特征向量输入到Adaboost烟雾分类模型，若输出为正，则确定当前帧的原始图像块为烟雾图像块。

例如，将特征向量输入到Adaboost烟雾分类模型进行判断，若判别结果为 1，则表示当前图像块存在烟雾，否则为非烟雾图像块。

可选地，视频分析终端12，还用于，

若确定连续Z帧原始图像块为烟雾图像块，且所述Z帧原始图像块中相邻原始图像块的重叠部分小于第一阈值和/或边界之差大于第二阈值，则确定为非烟雾模块，Z为大于1的整数。

如果确定连续Z帧原始图像块为烟雾图像块，且所述Z帧原始图像块中相邻原始图像块的重叠部分小于第一阈值和/或边界之差大于第二阈值，则确定所述原始图像块的烟雾检测结果为非稳定烟雾区域。例如，10帧检测结果中相邻组稳定烟雾区域变化太快(如重叠率过少和/或边界之差超过阈值)，则此烟雾区域为快速移动物体(如着类火焰颜色衣服的行人或车辆等),因此确定为非烟雾模块。

本发明实施例，通过所述摄像头采集监控区域的视频数据，并将所述视频数据发送至视频分析终端；视频分析终端对视频流进行运动检测，获取运动目标区域图像，并对每帧运动目标区域图像进行分块得到原始图像块；对当前帧的原始图像块进行颜色检测，获得颜色满足第一预设条件的第一候选图像块；对所述第一候选图像块进行能量检测，获得能量满足第二预设条件的第二候选图像块；对所述第二候选图像块中运动目标的运动方向进行检测，获得运动方向满足第三预设条件的第三候选图像块；获取所述第三候选图像块的特征向量，并将所述特征向量输入预设的模型中，若输出结果满足第四预设条件，则确定当前帧的原始图像块为烟雾图像块，并将原始图像所属监控区域的隐患信息发送至视频分析管理平台；所述视频分析管理平台，用于对监控区域的隐患信息进行监控，若异常则进行报警处理。本发明实施例，采用计算机视觉技术和人工智能技术实现对监控区域的实时探测，并找到烟雾出现的位置，从而能够准确地对着火点进行定位，避免火灾的发生和蔓延，具有较强的实用性和易用性。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视频的烟雾检测***，其特征在于，包括摄像头、视频分析终端和视频分析管理平台；

所述摄像头，用于采集监控区域的视频数据，并将所述视频数据发送至视频分析终端；

所述视频分析终端，用于对视频流进行运动检测，获取运动目标区域图像，并对每帧运动目标区域图像进行分块得到原始图像块；

对当前帧的原始图像块进行颜色检测，获得颜色满足第一预设条件的第一候选图像块；

对所述第一候选图像块进行能量检测，获得能量满足第二预设条件的第二候选图像块；

对所述第二候选图像块中运动目标的运动方向进行检测，获得运动方向满足第三预设条件的第三候选图像块；

获取所述第三候选图像块的特征向量，并将所述特征向量输入预设的模型中，若输出结果满足第四预设条件，则确定当前帧的原始图像块为烟雾图像块，并将原始图像所属监控区域的隐患信息发送至视频分析管理平台；

所述视频分析管理平台，用于对监控区域的隐患信息进行监控，若异常则进行报警处理。

2.如权利要求1所述的基于视频的烟雾检测***，其特征在于，第一预设条件包括RGB颜色空间条件和YUV颜色空间条件，所述视频分析终端具体用于，

获取当前帧的原始图像块中满足预定关系的像素点个数，若像素点个数与原始图像块中总像素个数的比值大于或等于预设比例，则确定该原始图像块中的烟雾满足所述RGB颜色空间条件，所述预设比例为大于零小于1的常数；所述预定关系为：max(r,g,b)-min(r,g,b)≤τ，且I＝(r+g+b)/3；其中，r,g,b分别为像素在R、G和B通道上的值，τ为颜色阈值，max(r,g,b)表示r,g,b中的最大值，min(r,g,b)表示r,g,b中的最小值，I为像素亮度；

将RGB颜色空间转换成YUV颜色空间，并计算原始图像块在y、u和v通道上的均值和计算公式如下： 其中，N为原始图像块中像素点的个数，(x_i,y_i)为第i个图像点坐标，y(x_i,y_i)、u(x_i,y_i)和v(x_i,y_i)分别为第i个图像点在Y、U和V通道上的值；

根据当前帧的原始图像块中的背景图像块平均值和当前图像块平均值的变化情况，判断是否满足YUV颜色空间条件：

其中，分别为当前图像块在y、u和v通道上的平均值，分别为与所述当前图像块对应的背景图像块在y、u和v通道上的平均值，τ和τ_y为固定的常数；

将同时满足所述RGB颜色空间条件和所述YUV颜色空间条件的原始图像块作为第一候选图像块。

3.如权利要求1所述的基于视频的烟雾检测***，其特征在于，所述视频分析终端具体用于，

将第一候选图像块转换成灰度图像块；

对灰度图像块进行二维离散小波变换，计算灰度图像块中背景图像块的第一频率能量与第二频率能量，以及前景图像块的第一频率能量与第二频率能量；

计算背景图像块的第一频率能量和前景图像块的第一频率能量的比值，以及背景图像块的第二频率能量和前景图像块的第二频率能量的比值，满足下列条件：

e_HB/e_HF≥1.05且e_LB/e_LF≤0.9，则将第一烟雾图像块中满足第一频率能量减少且第二频率能量增加的图像块确定为第二候选图像块；其中，e_HB和e_HF分别为背景图像块和前景图像块的第一频率能量，e_LB和e_LF分别为背景图像块和前景图像块的第二频率能量。

4.如权利要求1所述的基于视频的烟雾检测***，其特征在于，所述视频分析终端具体用于，

将第二候选图像块的前一帧进行灰度变换获得灰度图像,并分成若干个大小相同的图像块；

选取N个方向，分别计算N个方向上前一帧灰度图像块和当前帧灰度图像块的Pearson相关系数，从所述N个方向中选取Pearson相关系数最大的方向作为当前图像块的运动主方向，Pearson相关系数计算***如下：

其中，g_n和g_n-1分别表示当前帧和前一帧灰度值，(x_i,y_i)表示像素坐标，N为图像块中像素点个数，dx和dy分别表示偏移量；

若所述运动主方向与预设的运动方向一致，则确定所述第二候选图像块为第三候选图像块。

5.如权利要求1所述的基于视频的烟雾检测***，其特征在于，所述视频分析终端具体用于，

将中间图像对应值与最后一幅图像对应值相乘，得到对应的LBP值，其中，LBP计算公式为：

其中，P为当前像素点的邻域点个数，R为邻域半径；

统计0到255的二进制形式中跳变次数小于等于2的数据集的个数M，其余的当成另一类；其中，跳变次数的计算公式为：

统计M+1类数据的出现次数，将每类出现的概率组合作为M+1维特征向量；

将所述M+1维特征向量输入Adaboost烟雾分类模型，若输出结果为正，则则确定当前帧的原始图像块为烟雾图像块。

6.如权利要求1至5任一项所述的基于视频的烟雾检测***，所述视频分析终端还用于，

若确定连续Z帧原始图像块为烟雾图像块，且所述Z帧原始图像块中相邻原始图像块的重叠部分小于第一阈值和/或边界之差大于第二阈值，则确定为非烟雾模块，Z为大于1的整数。