CN113449664A - 一种火灾现场火情监测***和监测方法 - Google Patents

Abstract

本发明公开了一种火灾现场火情监测***和监控方法，包括火情红外图像采集***、数据传输***和远程监控中心；火情红外图像采集***用于实时采集火灾现场的红外视频文件；数据传输***用于接收并将发送红外视频文件至远程监控中心；远程监控中心，用于接收数据传输***发送的红外视频文件并提取出张红外图像，然后通过基于双平台直方图的红外图像增强方法得到的增强处理后的火灾现场红外图像，并通过目标检测算法寻找出灾情信息。本发明能够为查找着火点、计算着火面积和寻找被困人员提供有力的数据支持。

Description

一种火灾现场火情监测***和监测方法

技术领域

本发明涉及消防领域，尤其涉及一种火灾现场火情监测***和监测方法。

背景技术

随着我国经济的快速发展，社会的安全稳定运行显得尤为重要，国家对于各类灾情事故的预防与及时处理极为重视。

火灾是一种极易发生的事故，会导致巨大的人员伤亡和财产损失。在消防人员进行消防救援时，对火灾现场的情况掌握至关重要，直接影响到是否能够及时扑灭火灾，降低损失。由于火灾现场中存在着大量烟雾粒子，消防人员很难在确保自身安全的情况下，通过目视准确掌握火灾现场情况。

同时，由于火灾现场产生的烟雾粒子的直径大于可见光波长且对于可见光是不透明的，因此直接导致火灾现场能见度过低，使得一般的摄像头在火灾现场无法清楚的记录火灾的内部情况。

发明内容

本发明的目的是提供一种火灾现场火情监测***和监测方法，能够对火灾现场进行红外图像采集，并将采集到的红外图像经处理得到较为清晰的现场照片，为查找着火点、计算着火面积和寻找被困人员提供有力的数据支持。

本发明采用下述技术方案：

一种火灾现场火情监测***，包括火情红外图像采集***、数据传输***和远程监控中心；

所述的火情红外图像采集***，用于实时采集火灾现场的红外视频文件，并将获取的红外视频文件传输至数据传输***；火情红外图像采集***设置在火灾现场；

所述的数据传输***，用于接收火情红外图像采集***发送的红外视频文件，并将红外视频文件通过有线或无线方式发送至远程监控中心；

所述的远程监控中心，用于接收数据传输***发送的红外视频文件，并按照设定的时间间隔从红外视频文件中依次提取出若干张红外图像，然后通过基于双平台直方图的红外图像增强方法，得到增强处理后的火灾现场红外图像；最后，远程控制中心再依据得到的增强处理后的火灾现场红外图像，通过目标检测算法寻找出灾情信息；灾情信息包括是否有人员被困、燃烧物特征、着火点位置和着火范围。

所述的火情红外图像采集***包括设置于火灾现场的固定式红外视频监控器和设置有红外摄像头的无人机。

所述的远程监控中心所使用的基于双平台直方图的红外图像增强方法如下：

A：远程监控中心将获取的原始红外图像转化为该原始红外图像对应的像素分布直方图；然后进入步骤B；

B：根据获取的像素分布直方图，计算出原始红外图像的熵值H₀和熵值比临界值V，并将熵值H₀作为当前最大熵值H_big，即H_big＝H₀；然后进入步骤C；

其中，熵值的计算公式为：H＝-∑_a∑_bP_ag lnP_ag；

熵值比临界值的计算公式为：

熵值H₀中的下角标表示未经迭代的第0次，P_ag表示原始红外图像中像素点对应的特征二元组(a，g)出现的概率，

f(a，g)表示原始红外图像中像素点对应的特征二元组(a，g)出现的频数，W为原始红外图像的宽度，J为原始红外图像的高度；原始红外图像中像素点对应的特征二元组(a，g)中，a为图像中该像素点的像素值，g为图像中该像素点的邻域梯度值；e为自然对数，Q为图像质量系数，

N(T)表示原始红外图像中像素值的数量大于等于每个灰度值理想上最优数量N^exp的像素点的数量，T表示原始红外图像中像素值的数量大于等于每个灰度级理想上最优数量N^exp的像素点，M表示红外图像的灰度级阶数；

C：根据获取的像素分布直方图，对每个灰度阶数在直方图中的数量进行降序排序，得到降序列表A；然后进入步骤D；

A＝[N(X₁)，N(X₂)，......，N(X_n)]；

其中，X_n表示原始红外图像中的像素点且该像素点所对应的灰度阶数在直方图中数量最少，N(X_n)表示像素点X_n在像素分布直方图中的数量，N(X₁)＞N(X₂)＞…＞N(X_n)；n为自然数；

D：在降序列表A中从前至后取前U个元素作为前序元素组，从后至前取后D个元素作为后续元素组；设熵值比系数R_old的初始值为0，迭代次数m的初始值为0，改进方向C的初始值为up；然后进入步骤E；

其中，改进方向C包括up和down两个方向，C＝up表示仅从降序列表A中前序元素组内最后一个元素向后逐个进行扩充，改进方向C＝down表示仅从降序列表A中后续元素组内第一个元素向前逐个进行扩充；

E：根据确定的前序元素组和后续元素组，分别计算出当前上限阈值T_up和当前下限阈值T_down；然后进入步骤F；

其中，[]表示取整操作，Median_up表示前序元素组的中位数，Mean_up表示前序元素组的均值；N(X_i)表示前序元素组中的第i个像素点X_i在像素分布直方图中的数量，1≤i≤U-1；σ₁表示前序元素组中元素的标准差；Median_down表示后序元素组的中位数，Mean_down表示后序元素组的均值；N(X_j)表示后序元素组中的第j个像素点X_j在像素分布直方图中的数量，1≤j≤D-1，σ₂表示后序元素组中元素的标准差；

F：利用步骤E中计算得到的当前上限阈值T_up和当前下限阈值T_down，使用双平台直方图均衡算法对原始红外图像进行计算，得出均衡化后的原始红外图像的熵值H_new；然后进入步骤G；

G：根据原始红外图像的熵值H₀和均衡化后的熵值H_new，计算出当前熵值比系数R_new；然后进入步骤H；

H：判断当前熵值比系数R_new是否大于熵值比临界值V；若R_new≥V，则进入步骤L；若R_new＜V，则进入步骤I；

I：判断迭代次数m是否小于设定的终止迭代次数m_s，若m＜m_s，则进入步骤J；若m＝m_s，则进入步骤M；

其中，m_s≥1；m_s中下角标s为stop的首字母缩写；

J：判断当前熵值比系数R_new是否大于熵值比系数R_old；

若R_new＞R_old，则将当前最大熵值H_big更新为均衡化后的熵值H_new，即H_big＝H_new；然后依然将当前的改进方向C＝up作为最新改进方向C_new，即C_new＝C＝up，然后将降序列表A中前序元素组内最后一个元素的下一个元素纳入前序元素组中，即将降序列表A中正数第U+1个元素纳入前序元素组中，对前序元素组向后进行扩充；在首次迭代时R_old的初始值为0；在后续迭代过程中，下一次迭代时的R_old为本次迭代时的R_new；

若R_new≤R_old，则保持当前最大熵值H_big的值不变；然后将当前的改进方向C＝up的反方向作为最新改进方向C_new，即C_new＝Inv(C)＝down，然后将降序列表A中后续元素组内第一个元素的前一个元素纳入后序元素组中，即将降序列表A中倒数第D+1个元素纳入后序元素组中，对后序元素组向前进行扩充；在首次迭代时R_old的初始值为0；在后续迭代过程中，下一次迭代时的R_old依然为本次迭代时的R_old；

在对前序元素组或后序元素组完成扩充后，进入步骤K；

K：根据步骤J中得到的扩充后的前序元素组或后序元素组，返回步骤E重新计算当前上限阈值T_up和当前下限阈值T_down；此时迭代次数m的数值加1；

L：输出当前熵值为H_new的红外图像；

M：输出当前熵值为H_big的红外图像。

步骤B中，图像中像素点的邻域梯度值的计算方法如下：

a：对于图像中的像素点P，设像素点P的坐标为(u，v)，像素点P的邻域为以像素点P为中心且与像素点P相邻的像素点，像素点P的邻域的坐标分别为(u-1，v-1)、(u，v-1)、(u+1，v-1)、(u-1，v)、(u+1，v)、(u-1，v+1)、(u，v+1)、(u+1，v+1)；

b：计算像素点P及其邻域在x轴方向的梯度并进行绝对值求和；

在计算像素点P及其8个邻域在x轴方向的梯度时，均使用x轴方向上位于该像素点左侧的像素点的像素值减去该像素点的像素值，将结果作为该像素点在x轴方向的梯度；

然后，将像素点P及其8个邻域在x轴方向的梯度的绝对值进行求和，记为

c：计算像素点P及其邻域在y轴方向的梯度并进行绝对值求和；

在计算像素点P及其8个邻域在y轴方向上的梯度时，均使用y轴方向上位于该像素点下侧的像素点的像素值减去该像素点的像素值，将结果作为该像素点在y轴方向的梯度；

然后，将像素点P及其8个邻域在y轴方向的梯度的绝对值进行求和，记为

d：利用公式

最终求得图像中的像素点P的邻域梯度值g，r＝3，s＝3，[]表示取整操作；当图像中的像素点P的邻域中像素点小于8个时，即像素点P位于图像的边缘时，将缺少的像素点的像素值用0填充，即缺少的像素点的像素值为0。

所述的步骤D中，U＝D＝10。

所述的所述的步骤E中，m_s＝20。

所述的步骤B中，

其中，W和J分别为红外图像的宽度和高度，M为红外图像的灰度级阶数，N^exp为该红外图像中每个灰度值理想上的最优值。

所述的远程监控中心设置于各个消防单位。

还包括现场手持终端设备，现场手持终端设备与远程监控中心通讯连接。

一种基于权利要求1至9中任意一项所述的火灾现场火情监测***的监控方法，依次包括以下步骤：

第一步：远程监控中心控制火情红外图像采集***，对火灾现场进行红外视频文件采集；

第二步：火情红外图像采集***通过数据传输***，将采集到的红外视频文件通过有线或无线方式发送至远程监控中心；

第三步：远程监控中心接收数据传输***发送的红外视频文件，并按照设定的时间间隔从红外视频文件中依次提取出若干张红外图像；

第四步：远程监控中心通过基于双平台直方图的红外图像增强方法，对红外图像中的目标和边缘细节进行增强，同时对红外图像中的背景灰度进行抑制，得到增强处理后的火灾现场红外图像；基于双平台直方图的红外图像增强方法如权利要求3所述；

第五步：远程监控中心依据得到的增强处理后的火灾现场红外图像，通过目标检测算法寻找出灾情信息；

第六步：远程监控中心将经增强后的灾情现场红外图像及灾情信息发送至现场手持终端设备。

本发明利用提前设置于火灾现场的固定式红外视频监控器进行火灾灾情监控并获取红外视频文件，并利用设置有红外摄像头的无人机用于实现机动式监控的功能，对未安装固定式红外视频监控器的火灾现场进行补充监控。然后利用基于双平台直方图的红外图像增强方法，对红外图像中的目标和边缘细节进行增强，同时对红外图像中的背景灰度进行抑制，得到增强处理后的火灾现场红外图像，再通过目标检测算法寻找出灾情信息，最终通过现场手持终端设备将经增强后的灾情现场红外图像及灾情信息快速准确地发送至现场消防人员，为查找着火点、计算着火面积和寻找被困人员提供有力的数据支持。

附图说明

图1为本发明中火灾现场火情监测***的机构示意图；

图2为本发明中火灾现场火情监测方法的流程图；

图3为增强前的红外图像；

图4为增强后的红外图像。

具体实施方式

以下结合附图和实施例对本发明作以详细的描述：

如图1所示，本发明所述的火灾现场火情监测***，包括火情红外图像采集***、数据传输***和远程监控中心；

所述的火情红外图像采集***，用于实时采集火灾现场的红外视频文件，并将获取的红外视频文件传输至数据传输***；火情红外图像采集***设置在火灾现场；

所述的数据传输***，用于接收火情红外图像采集***发送的红外视频文件，并将红外视频文件通过有线或无线方式发送至远程监控中心；

所述的远程监控中心，用于接收数据传输***发送的红外视频文件，并按照设定的时间间隔从红外视频文件中依次提取出若干张红外图像，然后通过基于双平台直方图的红外图像增强方法，对红外图像中的目标和边缘细节进行增强，同时对红外图像中的背景灰度进行抑制，得到增强处理后的火灾现场红外图像；最后，远程控制中心再依据得到的增强处理后的火灾现场红外图像，通过目标检测算法寻找出灾情信息；灾情信息包括是否有人员被困、燃烧物特征、着火点位置和着火范围。

本发明中，火情红外图像采集***包括设置于火灾现场的固定式红外视频监控器和设置有红外摄像头的无人机。

固定式红外视频监控器可提前设置于火灾现场，能够根据控制进行拍摄角度调节。固定式红外视频监控器可采用现有红外监控摄像头，属于成熟的现有监控设备，已广泛地应用于各类办公场所、生产场所、仓储空间和公共空间等位置，在未发生火灾时能够用于进行安全监控，在此不再赘述。

设置有红外摄像头的无人机用于实现机动式监控的功能，能够对未安装固定式红外视频监控器的火灾现场进行监控并获取红外视频文件。无人机属于成熟的现有产品，在无人机下方安装对应规格的红外摄像头，也属于本领域的常规技术，在此不再赘述。

本发明中，数据传输***可采用现有的有线或无线式数据传输设备，属于本领域的常规技术，在此不再赘述。

本发明中，为克服普通摄像头在火灾现场无法清楚的记录火灾的内部情况的缺陷，火情红外图像采集***所采集到的火灾现场视频均为红外视频文件，可经远程监控中心提取后形成若干张能够反应火灾现场内部情况的红外图像。

但是，红外图像与可见图像相比，普遍存在着目标与背景对比度低、分辨率低、边缘模糊和噪声较大等缺点。在众多的图像处理算法中，直方图均衡化法是一种常用的红外图像对比度增强算法，它主要是基于图像直方图的灰度分布情况进行灰度级的调整，从而达到较为理想的增强效果。直方图均衡化法对图像的整体对比度增强有很强的效果，但如果直接采用直方图均衡化方法对图像进行增强处理，有可能导致图像中占据大多数像素灰度的背景和噪声等无用信息过度放大的现象，反而将图像中占有少量像素灰度的目标和边缘细节等有用信息过分抑制从而变得模糊，甚至出现目标丢失的现象，从而造成目标和细节的对比度降低而背景和噪声的对比度提高的现象。因此，传统的直方图均衡并不完全适用于红外图像的增强。

现有的平台直方图均衡算法对直方图均衡算法实现了一定程度的修正，它对图像的统计直方图设置一个上限平台阈值，对直方图中大于上限平台的灰度作出钳制，由此对图像中占据大量像素的背景灰度进行相对抑制，同时给图像中的目标细节留出了提升空间。但是，上限平台阈值的确定较为困难，若平台阈值过高会失去对背景和噪声的抑制作用，若平台阈值过低又会导致图像亮度过暗、对比度提高不理想等众多问题。

现有的双平台直方图均衡算法对平台直方图均衡算法的一种修正算法，它首先对图像进行直方图统计，然后针对该统计直方图设置两个较为合适的平台值T1和T2，分别作为上限平台和下限平台，然后在根据这两个平台值对统计直方图进行修改。常用的阈值选取原则是上限平台阈值设定红外图像总像素的20％～30％，而下限平台阈值设定为总像素的5％～10％。现有的双平台直方图均衡算法中，阈值的计算仅与像素数量有关，而与图像内容无关，使得该算法适应性较差。

因此，本发明中，采用基于双平台直方图的红外图像增强方法，能够对红外图像中的目标和边缘细节进行增强，同时对红外图像中的背景灰度进行抑制，从而得到增强处理后的火灾现场红外图像。

本发明中，远程监控中心在对红外图像进行增强时，所使用的基于双平台直方图的红外图像增强方法如下所示：

A：远程监控中心将获取的原始红外图像转化为该原始红外图像对应的像素分布直方图；然后进入步骤B；

B：根据获取的像素分布直方图，计算出原始红外图像的熵值H₀和熵值比临界值V，并将熵值H₀作为当前最大熵值H_big，即H_big＝H₀；然后进入步骤C；

在计算原始红外图像的熵值H₀时，使用下述公式：

H＝-∑_a∑_bP_ag lnP_ag；

其中，熵值H₀中的下角标数字0表示未经迭代的第0次，也称为第0次迭代；P_ag表示原始红外图像中像素点对应的特征二元组(a，g)出现的概率，

f(a，g)表示原始红外图像中像素点对应的特征二元组(a，g)出现的频数，W为原始红外图像的宽度，J为原始红外图像的高度；原始红外图像中像素点对应的特征二元组(a，g)中，a为图像中该像素点的像素值，g为图像中该像素点的邻域梯度值；

计算原始红外图像的熵值H₀时，按照上述方法，分别计算得到原始红外图像中各个像素点对应的特征二元组(a，g)，然后依据原始红外图像的熵值的计算公式，计算出计算原始红外图像的熵值H₀。

在计算原始红外图像的熵值比临界值V时，使用下述公式：

其中，e为自然对数，Q为图像质量系数，

N(T)表示原始红外图像中像素值的数量大于等于每个灰度值理想上最优数量N^exp的像素点的数量，T表示原始红外图像中像素值的数量大于等于每个灰度级理想上最优数量N^exp的像素点，M表示红外图像的灰度级阶数；

本发明中，图像中像素点的邻域梯度值的计算方法如下：

a：对于图像中的像素点P，设像素点P的坐标为(u，v)，像素点P的邻域为以像素点P为中心且与像素点P相邻的像素点，像素点P的邻域的坐标分别为(u-1，v-1)、(u，v-1)、(u+1，v-1)、(u-1，v)、(u+1，v)、(u-1，v+1)、(u，v+1)、(u+1，v+1)；

b：计算像素点P及其邻域在x轴方向的梯度并进行绝对值求和；

在计算像素点P及其8个邻域在x轴方向的梯度时，均使用x轴方向上位于该像素点左侧的像素点的像素值减去该像素点的像素值，将结果作为该像素点在x轴方向的梯度；

然后，将像素点P及其8个邻域在x轴方向的梯度的绝对值进行求和，记为

c：计算像素点P及其邻域在y轴方向的梯度并进行绝对值求和；

在计算像素点P及其8个邻域在y轴方向上的梯度时，均使用y轴方向上位于该像素点下侧的像素点的像素值减去该像素点的像素值，将结果作为该像素点在y轴方向的梯度；

然后，将像素点P及其8个邻域在y轴方向的梯度的绝对值进行求和，记为

d：利用公式

最终求得图像中的像素点P的邻域梯度值g，r＝3，s＝3，[]表示取整操作，即取出结果中的整数部分。

r和s分别为用于确定像素点P在x轴方向和y轴方向上邻域像素点范围的数值，当像素点P的邻域的范围为以像素点P为中心的8个像素点时，r＝3，即像素点P的邻域的x轴坐标范围为像素点P的x轴坐标减1至x轴坐标加1共3列；s＝3，即像素点P的邻域的y轴坐标的范围为像素点P的y轴坐标减1至y轴坐标加1共3行。

当图像中的像素点P的邻域中像素点小于8个时，即像素点P位于图像的边缘时，将缺少的像素点的像素值用0填充，即缺少的像素点的像素值为0。

C：根据获取的像素分布直方图，对每个灰度阶数在直方图中的数量进行降序排序，得到降序列表A；然后进入步骤D；

A＝[N(X₁)，N(X₂)，......，N(X_n)]；

其中，X_n表示原始红外图像中的像素点且该像素点所对应的灰度阶数在直方图中数量最少，N(X_n)表示像素点X_n在像素分布直方图中的数量，N(X₁)＞N(X₂)＞…＞N(X_n)；n为自然数；

D：在降序列表A中从前至后取前U个元素作为前序元素组，从后至前取后D个元素作为后续元素组；设熵值比系数R_old的初始值为0，迭代次数m的初始值为0，改进方向C的初始值为up；然后进入步骤E；

本发明中，改进方向C包括up和down两个方向，C＝up表示仅从降序列表A中前序元素组内最后一个元素向后逐个进行扩充，即仅从降序列表A中正数第U个元素向后逐个进行扩充，改进方向C＝down表示仅从降序列表A中后续元素组内第一个元素向前逐个进行扩充，即仅从降序列表A中倒数第D个元素向前逐个进行扩充；

E：根据确定的前序元素组和后续元素组，分别计算出当前上限阈值T_up和当前下限阈值T_down；然后进入步骤F；

其中，[]表示取整操作，Median_up表示前序元素组的中位数，Mean_up表示前序元素组的均值；N(X_i)表示前序元素组中的第i个像素点X_i在像素分布直方图中的数量，1≤i≤U-1；σ₁表示前序元素组中元素的标准差；Median_down表示后序元素组的中位数，Mean_down表示后序元素组的均值；N(X_j)表示后序元素组中的第j个像素点X_j在像素分布直方图中的数量，1≤j≤D-1，σ₂表示后序元素组中元素的标准差；

F：利用步骤E中计算得到的当前上限阈值T_up和当前下限阈值T_down，使用双平台直方图均衡算法对原始红外图像进行计算，得出均衡化后的原始红外图像的熵值H_new；然后进入步骤G；

双平台直方图均衡算法为本领域常规技术，在此不再赘述。

G：根据原始红外图像的熵值H₀和均衡化后的熵值H_new，计算出当前熵值比系数R_new；然后进入步骤H；

H：判断当前熵值比系数R_new是否大于熵值比临界值V；若R_new≥V，则进入步骤L；若R_new＜V，则进入步骤I；

I：判断迭代次数m是否小于设定的终止迭代次数m_s，若m＜m_s，则进入步骤J；若m＝m_s，则进入步骤M；

其中，m_s≥1；m_s中下角标s为stop的首字母缩写；

J：判断当前熵值比系数R_new是否大于熵值比系数R_old；

若R_new＞R_old，则将当前最大熵值H_big更新为均衡化后的熵值H_new，即H_big＝H_new；然后依然将当前的改进方向C＝up作为最新改进方向C_new，即C_new＝C＝up，然后将降序列表A中前序元素组内最后一个元素的下一个元素纳入前序元素组中，即将降序列表A中正数第U+1个元素纳入前序元素组中，对前序元素组向后进行扩充；在首次迭代时R_old的初始值为0；在后续迭代过程中，下一次迭代时的R_old为本次迭代时的R_new；

若R_new≤R_old，则保持当前最大熵值H_big的值不变；然后将当前的改进方向C＝up的反方向作为最新改进方向C_new，即C_new＝Inv(C)＝down，然后将降序列表A中后续元素组内第一个元素的前一个元素纳入后序元素组中，即将降序列表A中倒数第D+1个元素纳入后序元素组中，对后序元素组向前进行扩充；在首次迭代时R_old的初始值为0；在后续迭代过程中，下一次迭代时的R_old依然为本次迭代时的R_old；

在对前序元素组或后序元素组完成扩充后，进入步骤K；

K：根据步骤J中得到的扩充后的前序元素组或后序元素组，返回步骤E重新计算当前上限阈值T_up和当前下限阈值T_down；此时迭代次数m的数值加1；

L：输出当前熵值为H_new的红外图像；

M：输出当前熵值为H_big的红外图像。

本发明中，可根据所获取的降序列表A，分别设置前序元素组中元素的个数U和后续元素组中元素的个数D；U和D的取值可以相同，也可以不同。本实施例中，U＝D＝10。

首先，现有的双平台直方图均衡算法在对红外图像进行均衡化处理时，需要对原始红外图像进行转化从而得到像素分布直方图，再利用像素分布直方图确定上限平台和下限平台的阈值，最后再利用所确定的上限平台和下限平台的阈值进行图像优化处理。而针对双平台直方图均衡算法中上限平台和下限平台阈值确定的现有方法，普遍是将上限平台阈值设定为红外图像总像素的20％～30％，将下限平台阈值设定为红外图像总像素的5％～10％，阈值的计算仅与像素数量有关，而与红外图像内容无关，使得该算法适应性较差。

据此，本发明引入了能够表达红外图像周围梯度变化的二维梯度熵，作为确定上限平台和下限平台阈值的因素之一，以克服现有技术中仅利用红外图像中像素数量确定阈值的弊端。

红外图像的熵值是一种特征的统计形式，它反映了红外图像中平均信息量的多少。现有技术中，红外图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量。但无法反映出红外图像周围梯度变化的空间特征。而梯度空间特征则能够反应出图像像素值与周围像素点的整体变化趋势，有利于空间灰度分布变化趋势的展示。因此，为了表征空间特征，本发明在一维熵的基础上设立了能够反映红外图像周围梯度变化空间特征的二维梯度熵。

在进行像素点P的特征二元组(i，g)的计算时，设像素点P的坐标为(3，3)，像素值为27，像素点P的邻域的坐标分别为(2，2)、(3，2)、(4，2)、(2，3)、(4，3)、(2，4)、(3，4)、(4，4)；其各个像素点对应的像素值如下表所示：

20	46	55	8	124
					33	44	43	54	12
43	23	27	66	12
					34	34	178	190	201
222	221	21	23	34

则，像素点P及其邻域在x轴方向的梯度分别如下表所述：

11	-1	11
			-20	4	39
0	144	12

像素点P及其邻域在y轴方向的梯度分别如下表所述：

-2	-12	46
			-21	-16	12
11	151	124

最终，根据邻域梯度值计算公式求得图像中的像素点P(3，3)的邻域梯度值为36，像素点P(3，3)的特征二元组为(27，36)。

本发明中，选取红外图像中某一像素点的邻域梯度值作为灰度分布的空间特征量，与红外图像中该像素点的像素灰度组成特征二元组(i，g)；将特征二元组(i，g)作为确定原始红外图像熵值H₀的因素之一，能够充分利用红外图像的空间特征，准确可靠的表达红外图像中的相关信息，从而准确确定上限平台和下限平台阈值。

其次，现有的双平台直方图均衡算法中，均依据上限平台阈值将像素数大于该上限平台阈值的灰度级像素重新设置将其钳制在该上限平台。因此可以看出，上限平台阈值主要作用于大于该上限平台阈值的灰度级像素，也就是说影响上限平台阈值大小的因素就是像素分布直方图中灰度阶数较大的元素。同理，影响下限平台阈值大小的因素就是像素分布直方图中灰度阶数较小的元素。而根据上限平台阈值和下限平台阈值的计算公式可以看出，当前上限阈值T_up和当前下限阈值T_down的大小，直接取决于在降序列表A选择的前序元素组和后续元素组中元素的数量。且经分析发现，随着前序元素组和后续元素组中元素的数量的变化，红外图像熵值的变化并不是单调递增或者单调递减的形式。因此，确定最优的前序元素组和后续元素组中元素的数量，将直接影响到上限阈值和下限阈值的准确率。简单的确定前序元素组和后续元素组中元素的数量固定不变，或者简单的确定前序元素组和后续元素组中元素的数量为递增或递减，都无法获得准确的上限阈值和下限阈值。

据此，本发明通过设立熵值比系数，通过优化前后两幅红外图像的熵值的实时对比来确定图像增强效果，再依据熵值比系数来确定前序元素组和后续元素组中元素的数量。即本发明中通过能够实时反映优化前后两幅红外图像增强效果的熵值比系数，来选择是对前序元素组中元素的数量进行扩充，或是对后续元素组中元素的数量进行扩充，同时通过多次迭代计算，确定前序元素组和后续元素组所扩充的元素数量，从而达到准确确定的上限阈值和下限阈值的目的，进而保证红外图像的增强效果。

最后，根据熵值比系数的计算公式

可以看出，若优化后的红外图像与优化前的红外图像的熵值相同，则熵值比系数R_new＝1；随着前序元素组或后续元素组中元素的数量的不断变化，熵值H_new的数值在不断变化，从理论上而言，熵值H_new的值越大越好。但实际处理中如果把红外图像中每个灰度级级数都计算一遍，对于时间和算力都是一种巨大的浪费。因此，本申请通过设置基于图像像素值分布的图像质量系数Q来表达图像质量，利用图像质量系数Q来确定熵值比系数的临界值，即何时达到理想的增强效果。

在红外图像中，图像像素值的分布可以大致代表着图像质量的整体水平。红外图像为二维矩阵，设红外图像的宽度为W，高度为J，灰度级阶数为M，则可计算出该图像中每个灰度值理想上的最优值N^exp；

由于计算出的每个灰度级理想上的最优值N^exp仅为理想值，实际应用中不会存在真正的像素均匀分布的图像。因此，需要计算出红外图像中N(T)，即红外图像中存在像素值大于等于N^exp的像素点的数量。

设列表T＝[T₁，T₂，，......，T_i]；

其中，T_i表示原始红外图像中像素值的数量大于等于每个灰度级理想上最优数量N^exp的像素点，列表T中的任意元素T_f≥N^exp，1≤f≤i；N(T)表示列表T中像素点的数量；

根据图像质量系数Q的计算公式

当N(T)＝0时，Q＝1，图像质量系数为最小值；当N(T)＞0时，Q＞1，且随着N(T)数值的增大，Q的数值增大，图像的质量越来越高。

通过对大量不同的红外图像进行对比度增强分析，其实验结果表明熵值比系数R_new可以表征图像的对比度增强水平。对于质量很差的图像，需要保证熵值比系数R_new为需要较大的数值，才能确保输出高质量的图像。而对于质量较好的图像，熵值比系数R_new较低即可确保输出高质量的图像。因此，本申请中设定熵值比临界值V，使得质量差的图像有较高的临界值，而质量高的图像有较低的临界值，从而确保输出的图像质量。

熵值比临界值V的计算公式为：

本发明中，终止迭代次数m_s的取值可根据计算时间要求和设备算力情况自行设定。但考虑到算法效率，如果进行无限的迭代循环，对设备算力是种较大的浪费，同时也极大的延长了获取结果的时间，与快速准确获取火场图像数据的初衷相悖。因此，本发明对双平台直方图均衡算法处理后的图像熵值的总体波动规律进行了研究，发现若原始红外图像的所含内容太过单一，较大的迭代次数对于图像增强效果无任何帮助，同时会极大的延长获取结果的时间。因此本实施例中，终止迭代次数m_s设定为20，既能够获得较高的图像增强效果，又能够有效缩短获取结果的时间。红外图像经图像增强前后的对比图如图3和图4所示。

本发明中，远程监控中心最终输出的红外图像即为经增强处理后的火灾现场红外图像。远程监控中心可在经增强处理后的火灾现场红外图像上，使用目标检测算法寻找出灾情信息。

目标检测算法属于本领域的常规技术，通过设置待检测目标的特征值，在火灾现场红外图像中寻找出对应的待检测目标，在此不再赘述。

本发明中，考虑到图像处理对于硬件设备的要求，远程监控中心可设置于各个消防单位，以便通过性能更加的计算机硬件设备快速获取火灾现场红外图像和灾情信息。

同时，为了能够快速及时地将经增强后的灾情现场红外图像及灾情信息发送至现场消防人员，本发明中，还包括现场手持终端设备，现场手持终端设备由现场消防人员使用，现场手持终端设备与远程监控中心通讯连接。现场消防人员也可通过现场手持终端设备直接控制火灾现场的设置有红外摄像头的无人机。

如图2所述，本发明中，火灾现场火情监测方法，以此包括以下步骤：

第一步：远程监控中心控制火情红外图像采集***，对火灾现场进行红外视频文件采集；

第二步：火情红外图像采集***通过数据传输***，将采集到的红外视频文件通过有线或无线方式发送至远程监控中心；

第三步：远程监控中心接收数据传输***发送的红外视频文件，并按照设定的时间间隔从红外视频文件中依次提取出若干张红外图像；

第四步：远程监控中心通过基于双平台直方图的红外图像增强方法，对红外图像中的目标和边缘细节进行增强，同时对红外图像中的背景灰度进行抑制，得到增强处理后的火灾现场红外图像；

第五步：远程监控中心再依据得到的增强处理后的火灾现场红外图像，通过目标检测算法寻找出灾情信息；

第六步：远程监控中心将经增强后的灾情现场红外图像及灾情信息发送至现场手持终端。

第四步中，基于双平台直方图的红外图像增强方法，已在上文中详细描述，在此不再赘述。

Claims (10)

1.一种火灾现场火情监测***，其特征在于：包括火情红外图像采集***、数据传输***和远程监控中心；

所述的火情红外图像采集***，用于实时采集火灾现场的红外视频文件，并将获取的红外视频文件传输至数据传输***；火情红外图像采集***设置在火灾现场；

所述的数据传输***，用于接收火情红外图像采集***发送的红外视频文件，并将红外视频文件通过有线或无线方式发送至远程监控中心；

所述的远程监控中心，用于接收数据传输***发送的红外视频文件，并按照设定的时间间隔从红外视频文件中依次提取出若干张红外图像，然后通过基于双平台直方图的红外图像增强方法，得到增强处理后的火灾现场红外图像；最后，远程控制中心再依据得到的增强处理后的火灾现场红外图像，通过目标检测算法寻找出灾情信息；灾情信息包括是否有人员被困、燃烧物特征、着火点位置和着火范围。

2.根据权利要求1所述的火灾现场火情监测***，其特征在于：所述的火情红外图像采集***包括设置于火灾现场的固定式红外视频监控器和设置有红外摄像头的无人机。

3.根据权利要求1所述的火灾现场火情监测***，其特征在于，所述的远程监控中心所使用的基于双平台直方图的红外图像增强方法如下：

A：远程监控中心将获取的原始红外图像转化为该原始红外图像对应的像素分布直方图；然后进入步骤B；

B：根据获取的像素分布直方图，计算出原始红外图像的熵值H₀和熵值比临界值V，并将熵值H₀作为当前最大熵值H_big，即H_big＝H₀；然后进入步骤C；

其中，熵值的计算公式为：H＝-∑_a∑_bP_agln P_ag；

熵值比临界值的计算公式为：

熵值H₀中的下角标表示未经迭代的第0次，P_ag表示原始红外图像中像素点对应的特征二元组(a，g)出现的概率，

f(a，g)表示原始红外图像中像素点对应的特征二元组(a，g)出现的频数，W为原始红外图像的宽度，J为原始红外图像的高度；原始红外图像中像素点对应的特征二元组(a，g)中，a为图像中该像素点的像素值，g为图像中该像素点的邻域梯度值；e为自然对数，Q为图像质量系数，

N(T)表示原始红外图像中像素值的数量大于等于每个灰度值理想上最优数量N^exp的像素点的数量，T表示原始红外图像中像素值的数量大于等于每个灰度级理想上最优数量N^exp的像素点，M表示红外图像的灰度级阶数；

C：根据获取的像素分布直方图，对每个灰度阶数在直方图中的数量进行降序排序，得到降序列表A；然后进入步骤D；

A＝[N(X₁)，N(X₂)，......，N(X_n)]；

其中，X_n表示原始红外图像中的像素点且该像素点所对应的灰度阶数在直方图中数量最少，N(X_n)表示像素点X_n在像素分布直方图中的数量，N(X₁)＞N(X₂)＞…＞N(X_n)；n为自然数；

D：在降序列表A中从前至后取前U个元素作为前序元素组，从后至前取后D个元素作为后续元素组；设熵值比系数R_old的初始值为0，迭代次数m的初始值为0，改进方向C的初始值为up；然后进入步骤E；

其中，改进方向C包括up和down两个方向，C＝up表示仅从降序列表A中前序元素组内最后一个元素向后逐个进行扩充，改进方向C＝down表示仅从降序列表A中后续元素组内第一个元素向前逐个进行扩充；

E：根据确定的前序元素组和后续元素组，分别计算出当前上限阈值T_up和当前下限阈值T_down；然后进入步骤F；

其中，[]表示取整操作，Median_up表示前序元素组的中位数，Mean_up表示前序元素组的均值；N(X_i)表示前序元素组中的第i个像素点X_i在像素分布直方图中的数量，1≤i≤U-1；σ₁表示前序元素组中元素的标准差；Mediah_down表示后序元素组的中位数，Mean_down表示后序元素组的均值；N(X_j)表示后序元素组中的第j个像素点X_j在像素分布直方图中的数量，1≤j≤D-1，σ₂表示后序元素组中元素的标准差；

F：利用步骤E中计算得到的当前上限阈值T_up和当前下限阈值T_down，使用双平台直方图均衡算法对原始红外图像进行计算，得出均衡化后的原始红外图像的熵值H_new；然后进入步骤G；

G：根据原始红外图像的熵值H₀和均衡化后的熵值H_new，计算出当前熵值比系数R_new；然后进入步骤H；

H：判断当前熵值比系数R_new是否大于熵值比临界值V；若R_new≥V，则进入步骤L；若R_new＜V，则进入步骤I；

I：判断迭代次数m是否小于设定的终止迭代次数m_s，若m＜m_s，则进入步骤J；若m＝m_s，则进入步骤M；

其中，m_s≥1；m_s中下角标s为stop的首字母缩写；

J：判断当前熵值比系数R_new是否大于熵值比系数R_old；

若R_new＞R_old，则将当前最大熵值H_big更新为均衡化后的熵值H_new，即H_big＝H_new；然后依然将当前的改进方向C＝up作为最新改进方向C_new，即C_new＝C＝up，然后将降序列表A中前序元素组内最后一个元素的下一个元素纳入前序元素组中，即将降序列表A中正数第U+1个元素纳入前序元素组中，对前序元素组向后进行扩充；在首次迭代时R_old的初始值为0；在后续迭代过程中，下一次迭代时的R_old为本次迭代时的R_new；

若R_new≤R_old，则保持当前最大熵值H_big的值不变；然后将当前的改进方向C＝up的反方向作为最新改进方向C_new，即C_new＝Inv(C)＝down，然后将降序列表A中后续元素组内第一个元素的前一个元素纳入后序元素组中，即将降序列表A中倒数第D+1个元素纳入后序元素组中，对后序元素组向前进行扩充；在首次迭代时R_old的初始值为0；在后续迭代过程中，下一次迭代时的R_old依然为本次迭代时的R_old；

在对前序元素组或后序元素组完成扩充后，进入步骤K；

K：根据步骤J中得到的扩充后的前序元素组或后序元素组，返回步骤E重新计算当前上限阈值T_up和当前下限阈值T_down；此时迭代次数m的数值加1；

L：输出当前熵值为H_new的红外图像；

M：输出当前熵值为H_big的红外图像。

4.根据权利要求3所述的火灾现场火情监测***，其特征在于：步骤B中，图像中像素点的邻域梯度值的计算方法如下：

a：对于图像中的像素点P，设像素点P的坐标为(u，v)，像素点P的邻域为以像素点P为中心且与像素点P相邻的像素点，像素点P的邻域的坐标分别为(u-1，v-1)、(u，v-1)、(u+1，v-1)、(u-1，v)、(u+1，v)、(u-1，v+1)、(u，v+1)、(u+1，v+1)；

b：计算像素点P及其邻域在x轴方向的梯度并进行绝对值求和；

在计算像素点P及其8个邻域在x轴方向的梯度时，均使用x轴方向上位于该像素点左侧的像素点的像素值减去该像素点的像素值，将结果作为该像素点在x轴方向的梯度；

然后，将像素点P及其8个邻域在x轴方向的梯度的绝对值进行求和，记为

c：计算像素点P及其邻域在y轴方向的梯度并进行绝对值求和；

在计算像素点P及其8个邻域在y轴方向上的梯度时，均使用y轴方向上位于该像素点下侧的像素点的像素值减去该像素点的像素值，将结果作为该像素点在y轴方向的梯度；

然后，将像素点P及其8个邻域在y轴方向的梯度的绝对值进行求和，记为

d：利用公式

最终求得图像中的像素点P的邻域梯度值g，r＝3，s＝3，[]表示取整操作；当图像中的像素点P的邻域中像素点小于8个时，即像素点P位于图像的边缘时，将缺少的像素点的像素值用0填充，即缺少的像素点的像素值为0。

5.根据权利要求3所述的火灾现场火情监测***，其特征在于：所述的步骤D中，U＝D＝10。

6.根据权利要求3所述的火灾现场火情监测***，其特征在于：所述的步骤E中，m_s＝20。

7.根据权利要求3所述的火灾现场火情监测***，其特征在于：所述的步骤B中，

其中，W和J分别为红外图像的宽度和高度，M为红外图像的灰度级阶数，N^exp为该红外图像中每个灰度值理想上的最优值。

8.根据权利要求1所述的火灾现场火情监测***，其特征在于：所述的远程监控中心设置于各个消防单位。

9.根据权利要求1所述的火灾现场火情监测***，其特征在于：还包括现场手持终端设备，现场手持终端设备与远程监控中心通讯连接。

10.一种基于权利要求1至9中任意一项所述的火灾现场火情监测***的监控方法，其特征在于，依次包括以下步骤：

第一步：远程监控中心控制火情红外图像采集***，对火灾现场进行红外视频文件采集；

第二步：火情红外图像采集***通过数据传输***，将采集到的红外视频文件通过有线或无线方式发送至远程监控中心；

第三步：远程监控中心接收数据传输***发送的红外视频文件，并按照设定的时间间隔从红外视频文件中依次提取出若干张红外图像；

第四步：远程监控中心通过基于双平台直方图的红外图像增强方法，得到增强处理后的火灾现场红外图像；基于双平台直方图的红外图像增强方法如权利要求3所述；

第五步：远程监控中心依据得到的增强处理后的火灾现场红外图像，通过目标检测算法寻找出灾情信息；

第六步：远程监控中心将经增强后的灾情现场红外图像及灾情信息发送至现场手持终端设备。

Images