CN114677406A - 利用累计帧差与色彩统计从视频流中识别石油火焰的方法 - Google Patents

Abstract

本发明属于火焰识别技术领域，具体公开了利用累计帧差与色彩统计从视频流中识别石油火焰的方法，首先计算视频图片与背景图片之间的帧差，获得运动目标的主体部位；在时间序列上逐帧计算帧差并将所有帧差累计求和，获得运动目标的形变部分；然后将累计帧差之和与背景帧差相加，生成一幅在一个固定时间窗口中包含运动目标主体和形变部位的二值图像，其次，对二值图像进行形态学开运算，并进行矩形切割，获得多个可疑石油火焰区域，最后利用分割矩形从原始图片中提取对应区域，对该区域进行色彩统计，判断该区域是否存在燃烧的石油火焰。本发明能能准确划分石油火焰的中心部位，能准确检测单个石油火焰或多个燃烧石油火焰。

Description

利用累计帧差与色彩统计从视频流中识别石油火焰的方法

技术领域

本发明属于火焰识别技术领域，特别涉及利用累计帧差与色彩统计从视频流中识别石油火焰的方法。

背景技术

利用视频等技术手段对石油火焰进行实时检测对安全生产具有重要意义。众所周知，石油火焰具有变形快、运动无序、色彩强烈等特点，石油火焰检测难度大，石油火焰传播速度快。一个小的火点可以在不到一秒钟内形成一个巨大的火团。如果遇到外界因素，很可能蔓延成大火，并伴有局部***；当石油火焰快速蔓延时，边缘形状呈现快速变化，形成无序的不规则形状变化；当它充分燃烧时，形成的石油火焰的颜色成分非常强烈。火点中央出现强光，形成一团近乎白色的圆形，石油火焰***呈红色。由于强烈的石油火焰映射，周围环境的颜色也发生了很大的变化，出现了橙色、红色和白色的反射。

现有的通过视频识别石油火焰的方法存在诸多问题，如：不能消除大灯、强光、车身反射等引起的光干扰，以及人员移动、抽油机移动、车辆运行等引起的运动干扰，并且不能准确划分石油火焰的中心部位。

因此，提供一种新的利用累计帧差与色彩统计从视频流中识别石油火焰的方法是本领域技术人员亟需解决的技术问题。

发明内容

本发明的目的在于克服现有技术中不能消除石油火焰识别过程中的干扰的缺陷，提供利用累计帧差与色彩统计从视频流中识别石油火焰的方法。

本发明提供了利用累计帧差与色彩统计从视频流中识别石油火焰的方法，包括以下步骤：

包括以下步骤：

S1、在视频流中选取一帧背景图片和若干帧视频图片，计算视频图片与背景图片之间的帧差，得到背景帧差，即获得运动目标的主体部位；

S2、在时间序列上逐帧计算帧差并将所有帧差累计求和，得到累计帧差，即获得运动目标的形变部分；

S3、将所述累计帧差与所述背景帧差相加，生成一幅在一个固定时间窗口中包含运动目标主体和形变部位的二值图像；

S4、对所述二值图像去噪，并对去噪后的所述二值图像进行矩形切割，得到若干个分割矩形，即获得多个可疑石油火焰区域；

S5、利用分割矩形从原始图片中提取对应区域，对该区域进行色彩统计，判断该区域是否存在燃烧的石油火焰。

进一步的方案为，所述S1中，从视频流中选择一帧作为背景图像，对所述背景图像进行二值化处理，每隔t秒抽取一帧图像作为比较图像，并对所述比较图像进行二值化处理，当非连续的比较图像数量达到n幅时，将第一幅比较图像与背景图像计算背景帧差，获得在t×n秒的时间窗口中运动目标的主体部分。

进一步的方案为，所述S2中，在时间序列上计算相邻两帧比较图像之间的帧差，并将所有帧差相加，获得在t×n秒时间窗口中运动目标的形变部分。

进一步的方案为，所述S4中，采用形态学开运算对所述二值图进行去噪。

进一步的方案为，所述S5中，所述色彩统计包括以下步骤：

S5.1：将所述可疑石油火焰区域原图转换成RGB三通道矩阵，遍历三通道矩阵中每个像素点，计算每个像素点的饱和度，根据所述饱和度判断该像素点是否为石油火焰像素点；

S5.2：统计所述可疑石油火焰区域内的石油火焰像素点，若石油火焰像素点的数量超过设定阈值，则该可疑石油火焰区域内存在石油火焰。

进一步的方案为，所述饱和度计算公式为：

S＝1-3×min(R,G,B)/(R+G+B) (1)

式中，min(R,G,B)为三通道上的最小值。

进一步的方案为，石油火焰像素点的判断方法为：

所述像素值同时满足R＞RT,且R＞＝G＞＝B,且S＞＝((255-R)×ST/RT))，则此像素点视为石油火焰像素点，设置该像素点为1，否则，设置该像素值为0，即：

式中，RT为红色阈值，所述RT的取值范围为115～135，ST为饱和度阈值，所述ST的取值范围为55～65；

进一步的方案为，利用分割矩形从原始图片中提取对应区域前，还包括：

对所述分割矩形进行遍历，滤掉宽度和高度小于64的矩形。

与现有技术相比，本发明的有益效果在于：本发明提出了一种结合帧间累积差和、形态学运算、颜色统计等手段的石油火焰检测方法。我们从动态时间序列中观察石油火焰的变形和运动规律，克服了静态图像分析无法提取石油火焰运动特征的缺点，有效地克服了石油火焰运动无序、色彩强烈、变形迅速等带来的检测困难，解决了样本不足情况下石油火焰目标的检测问题。对某油田、森林、办公场所等发生的火灾视频进行了实验，实验结果表明，本发明提出的方法能够准确地检测出石油火焰的燃烧区域，并能消除大灯、强光、车身反射等引起的光干扰。它能准确滤除人员移动、抽油机移动、车辆运行等引起的运动干扰，并能准确划分石油火焰的中心部位，能准确检测单个石油火焰或多个燃烧石油火焰。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1：石油火焰识别流程图；

图2：累计帧差和计算流程示意图；

图3：累计帧差和计算过程示意图，其中，(a)为背景图像的二值化结果，(b)和(c)为石油火焰燃烧的二值化图像，(d)为(b)与(a)进行帧差运算的结果，(e)为(c)与(b)进行帧差运算获得的结果，(f)为完整的石油火焰形状；

图4：对石油火焰图像进行形态学开运算示意图；

图5：颜色统计过程示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明提供了利用累计帧差与色彩统计从视频流中识别石油火焰的方法：

在本实施例中，设缓存图片的队列为frame_list，缓存大小为MAX_QUEUE_SIZE＝10，帧间隔MAX_FRAME_INTERVAL＝10。

第一步：开始读入视频流，保存第一帧图片作为背景图片。为了便于计算，对所有帧图片进行二值化处理，即，色彩范围在指定范围内的点为1，否则为0：

其中，v_ij为某一时刻的帧图片某一点的RGB值，(R_l,G_l,B_l)为RGB下限值，(R_u,G_u,B_u)为RGB上限值。

第二步：从视频流中抽取帧图片，并***到图片缓存队列队尾。如果缓存队列中的图片数量超过最大缓存数MAX_QUEUE_SIZE，删除最先保存的图片。和上一步一样，所有图片在***队列前进行二值化处理。

第三步：为了弥补相邻帧差形成的运动对象空洞现象，计算队列中第一帧图片与背景图片F_b的帧差，得到Δb。

其中，F₀＝frame_list[0]，up(x-y)为向上求差，即，如果两个数求差，如果差大于0，则差为不变，如果差小于等于0，则差为0：

第四步：计算缓存队列中所有图片的累计相邻绝对帧差，即所有相邻图片两两求差值的绝对值，得到一个差值矩阵，然后把所有差值矩阵累加起来。

然后累计绝对帧差加上背景帧差，得到一个完整的帧差之和：

S＝Δb+Δf (8)

第五步：为了去除噪声，过滤掉一些微小的对象，对累计绝对帧差矩阵S进行形态学开运算，即，先进行腐蚀操作，再进行膨胀操作。

其中B为3×3的结构元。

第六步：在经过开运算后得到的累计绝对帧差矩阵T中查找轮廓，只提取最外面的轮廓，压缩水平、垂直和对角直线段，仅保留它们的端点，得到若干个分割矩形。

第七步：遍历所有的分割矩形，先过滤掉宽度和高度小于64×64的矩形，只有对宽度和高度同时大于等于64的矩形。用这些矩形从原始帧图片中提取分割矩阵，对这个分割矩阵进一步分析颜色成分，看分割出来的小图片中的颜色是否满足石油火焰的特征：

设红色分量阈值RT和色彩饱和度阈值ST如下：

RT＝[115,135]

ST＝[55,65]

S＝1-3×min(R,G,B)/(R+G+B)

遍历分割矩阵中的每一个点，如果RGB分量满足如下条件，则记为火点，否则不是：

如果分割矩阵中值为1的点占总数的比例超过一定比例，比如0.2％，则判断该分割矩阵中存在石油火焰。

在上述中，首先计算视频图片与背景图片的帧差，获得所有运动目标的主体部位；在时间序列上逐帧计算帧差并将所有帧差累计求和，获得运动目标的***形变部分；为了弥补累计帧差产生的石油火焰燃烧中心的空洞，将累计帧差之和与背景帧差(背景图像和第一幅比较图像的帧差)求和，生成一幅在一个固定时间窗口中包含运动目标主体和形变部位的二值图像。其次，对二值图像进行形态学开运算，并进行矩形切割，获得多个可疑石油火焰区域。最后，针对石油火焰色彩强烈的特点，利用分割矩形从原始图片中提取对应区域，对该区域进行色彩统计，过滤掉不具有石油火焰特征的其他运动目标，比如，人，车辆，动物等，进一步判断该区域是否存在燃烧的石油火焰。如图1所示，帧差和计算、形态学开运算、色彩统计是本发明的三个关键步骤，帧差和计算解决了运动目标检测问题，形态学开运算解决了运动目标边缘分割问题，色彩统计解决了目标区域石油火焰特征识别问题。

从视频中采集的视频序列具有连续性的特点，如果场景内没有运动目标，则连续帧的像素值变化很微弱，如果存在运动目标，则时间序列相邻两帧之间会有明显的像素值变化。本发明利用这一特征，从视频中选择一帧作为背景图像进行二值化，每隔t秒抽取一帧图像并进行二值化，当非连续的图像数量达到n幅时，将缓存中第一幅图像与背景图像计算背景帧差，获得在t×n秒的时间窗口中运动目标的主体部分。然后在时间序列上在相邻两帧图像之间两两进行帧差计算，并将所有帧差相加，获得在t×n秒时间窗口中像素值不断发生变化的区域，即，运动目标的形变部分。如图2所示，然后将将累计帧差之和与背景帧差相加，防止运动目标在同一区域像素值未发生明显变化而导致的空洞现象。

具体计算过程如图3所示，图中(a)为背景图像的二值化结果，(b)和(c)为石油火焰燃烧的二值化图像，为了显示方便，用浅灰色方块表示变化的石油火焰轮廓，(d)为(b)与(a)进行帧差运算的结果，大部分全部为0，只有下方四个方格为1，这个区域就是石油火焰的主体区域，(e)为(c)与(b)进行帧差运算获得的结果，由于石油火焰是无序运动的，在计算帧差时，运动部分就会被保留下来，而石油火焰中心点没有运动的部分却被消除了，出现了空洞现象，因此，将(d)和(e)相加，获得了(f)完整的石油火焰形状。

如图4所示，从视频中采集图像进行累计帧差并相加之后，将图像分割成在一个固定时间窗口中包含运动目标主体和形变部位的二值图像，但实际场景中存在外界光照强度变化、车灯等噪声的干扰，导致视频背景图像中相应像素值发生变化，经累计帧差和计算后生成的二值图像中存在噪点，噪点的存在对石油火焰目标区域的准确定位造成了影响。本发明采用形态学开运算操作进行去噪，选择3×3结构大小的几何运算滤波器，对累计帧差求和后的二值图进行先腐蚀运算再膨胀运算，去除了二值图像中孤立的小点、毛刺和小桥等噪点，把细微连在一起的两块目标分开，同时保持了运动目标总的位置和形状。

大量研究表明，对于大多数石油火焰来说，石油火焰在RGB颜色空间三个通道中有着特定的关系，即R＞G＞B。我们对众多石油燃烧石油火焰观察发现，石油火焰颜色成分非常强烈，中心火点出现强光，形成近乎白色的圆团，石油火焰周边呈现红色，由于强烈的石油火焰形成映射，周边环境的颜色也发生巨大的变化。如果只使用RGB模型进行阈值控制不利于得到石油火焰位置。因此本发明提出一种结合R、G、B颜色特征和饱和度来综合判断的颜色统计模型：

首先，将分割原图转换成RGB三通道矩阵；其次，遍历三通道矩阵中每个像素值，计算饱和度S：

S＝1-3×min(R,G,B)/(R+G+B) (1)

其中，min(R,G,B)为三个通道上的最小值。

如果该像素点同时满足R＞RT,且R＞＝G＞＝B,且S＞＝((255-R)×ST/RT))条件，则此像素点视为石油火焰像素点，设置该像素点为1，否则，设置该像素值为0：

其中，RT为红色阈值，取115-135之间的一个值，ST为饱和度阈值，取55-65之间的一个值。

如图5所示，待遍历完矩阵中每个像素点，生成一个二值矩阵。

最后，统计二值矩阵中值为1像素所占的比例，如果比例超过阈值r(如0.02％)，则认为该分割图像存在石油火焰。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本发明中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本发明披露的各实施例。

Claims (8)

1.利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，包括以下步骤：

S1、在视频流中选取一帧背景图片和若干帧视频图片，计算视频图片与背景图片之间的帧差，得到背景帧差，即获得运动目标的主体部位；

S2、在时间序列上逐帧计算帧差并将所有帧差累计求和，得到累计帧差，即获得运动目标的形变部分；

S3、将所述累计帧差与所述背景帧差相加，生成一幅在一个固定时间窗口中包含运动目标主体和形变部位的二值图像；

S4、对所述二值图像去噪，并对去噪后的所述二值图像进行矩形切割，得到若干个分割矩形，即获得多个可疑石油火焰区域；

S5、利用分割矩形从原始图片中提取对应区域，对该区域进行色彩统计，判断该区域是否存在燃烧的石油火焰。

2.根据权利要求1所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，所述S1中，从视频流中选择一帧作为背景图像，对所述背景图像进行二值化处理，每隔t秒抽取一帧图像作为比较图像，并对所述比较图像进行二值化处理，当非连续的比较图像数量达到n幅时，将第一幅比较图像与背景图像计算背景帧差，获得在t×n秒的时间窗口中运动目标的主体部分。

3.根据权利要求2所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，所述S2中，在时间序列上计算相邻两帧比较图像之间的帧差，并将所有帧差相加，获得在t×n秒时间窗口中运动目标的形变部分。

4.根据权利要求1所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，所述S4中，采用形态学开运算对所述二值图进行去噪。

5.根据权利要求1所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，所述S5中，所述色彩统计包括以下步骤：

S5.1：将所述可疑石油火焰区域原图转换成RGB三通道矩阵，遍历三通道矩阵中每个像素点，计算每个像素点的饱和度，根据所述饱和度判断该像素点是否为石油火焰像素点；

S5.2：统计所述可疑石油火焰区域内的石油火焰像素点，若石油火焰像素点的数量超过设定阈值，则该可疑石油火焰区域内存在石油火焰。

6.根据权利要求5所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，

所述饱和度计算公式为：

S＝1-3×min(R,G,B)/(R+G+B) (1)

式中，min(R,G,B)为三通道上的最小值。

7.根据权利要求5所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，石油火焰像素点的判断方法为：

所述像素值同时满足R＞RT,且R＞＝G＞＝B,且S＞＝((255-R)×ST/RT))，则此像素点视为石油火焰像素点，设置该像素点为1，否则，设置该像素值为0，即：

式中，RT为红色阈值，所述RT的取值范围为115～135，ST为饱和度阈值，所述ST的取值范围为55～65。

8.根据权利要求5所述的利用累计帧差与色彩统计从视频流中识别石油火焰的方法，其特征在于，利用分割矩形从原始图片中提取对应区域前，还包括：

对所述分割矩形进行遍历，滤掉宽度和高度小于64的矩形。

Images