CN115311623A - 一种基于红外热成像的设备漏油检测方法及*** - Google Patents

Abstract

本发明公开了一种基于红外热成像的设备漏油检测方法及***。本发明在可能存在漏油情况的设备前上方安装红外热成像摄像头，并在摄像头的监控图像中预置一个ROI漏油检测区域；实时获取所述摄像头的红外热成像信号数据，再对所述的ROI区域进行漏油检测，找到可疑油渍连通区域；最后对检测到的可疑油渍连通区域进行分析，并根据分析结果决定是否在监控图像上输出漏油检测报警信息框。本发明将漏油检测与红外热成像相结合实现了漏油自动监测，相比于现有的人工巡检方式，无需再到现场进行近距离检测，这使得设备漏油检测变得更加高效便捷。

Description

一种基于红外热成像的设备漏油检测方法及***

技术领域

本发明属于设备漏油检测技术领域，尤其涉及一种基于红外热成像的设备漏油检测方法及***。

背景技术

随着工业化进程的不断加快以及人口的激增，各行各业对于能源的依赖性越来越强，尤其以油类能源为主，这使得油类能源的运输、存储、分发等各个环节的工作量日益增加，而随之产生的负面问题也不可避免地增加，其中，设备漏油是一个最为频繁且负面影响巨大的问题，设备漏油问题不仅浪费了大量油料，而且对环境造成污染，严重时甚至会造成安全事故而影响生产。因此，提前做好设备漏油的检测工作以防患于未然是非常有必要的。

传统技术中主要采用人工巡检或者在可能会漏油的位置安装可见光摄像机的方式对设备漏油情况进行检测，若是采用人工巡检的方式，那么就意味着需要安排人手二十四小时不间断地去对设备及其周围可能会漏油的位置进行检查，当巡检人员发现设备存在漏油情况后，需要通知相关人员维修，显然这种检测方式难以及时发现异常状况，具有一定的滞后性且带来了一系列安全隐患。若是采用安装可见光摄像机的方式，尽管该方式要比人工巡检有更好的实时性，但是该方式仅仅适用于晴朗的白天，因为一旦到了晚上或者遇到下雨天，是很难通过颜色来分辨出油和水的区别的，因此这种方式也是不可取的。目前，也有一些最新的技术被用于设备漏油检测，例如使用深度学习技术对各种形状的漏油油块图片样本进行目标识别训练，生成漏油油块识别模型，然后利用该模型对可见光摄像头获取的视频图像进行实时检测，尽管这种方式有着较好的时效性，但由于漏油油块的形状是毫无规则的，因而训练数据中不可能包含所有形状的漏油油块样本，这就使得模型的鲁棒性不高，大概率存在漏检或误报的情况。

因此，针对以上问题，亟需提供一种基具有高鲁棒性、高准确率的设备漏油检测方法及***。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于红外热成像的设备漏油检测方法及***。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种基于红外热成像的设备漏油检测方法，其包括以下步骤：

S1、通过视角固定的红外热成像摄像头实时获取目标监控区域的红外监控图像帧，并根据预设的ROI区域坐标框从红外监控图像帧中提取覆盖油渍块出现范围的第一ROI区域图像；

S2、对S1中获取的所述第一ROI区域图像进行灰度值统计，得到第一ROI区域图像的灰度直方图，再对所述第一ROI区域图像进行抛点处理得到第二ROI区域图像；所述抛点处理为去除第一ROI区域图像中像素值位于所述灰度直方图的值域两端的极值像素；

S3、对S2中得到的第二ROI区域图像的像素值进行聚类，若所有像素值被聚为一类，则视为该第二ROI区域图像获取时刻不存在漏油情况，继续对下一帧红外监控图像帧执行S1～S3；若所有像素值被聚为多类，则视为当前目标监控区域中可能存在漏油情况，以所有聚类中心像素值的平均值作为第一阈值对第二ROI区域图像进行二值化，若像素值小于等于第一阈值则置为1，否则置为0，从而建立包含疑似油渍块的二值图；再对二值图进行孤立点去除后基于最小面积进行筛选，筛选得到的所有连通区域更新至目标跟踪列表中；其中更新过程如下：

遍历筛选得到的每个连通区域，将当前遍历连通区域在目标跟踪列表中进行目标匹配，若匹配不到同一跟踪目标，则在目标跟踪列表中将当前遍历连通区域增加为一个新跟踪目标，并初始化该新跟踪目标的目标出现次数为1，连续消失次数为0；若匹配到同一跟踪目标，则将目标跟踪列表中这个跟踪目标的出现次数加1，这个跟踪目标的连续消失次数置0；当遍历完筛选得到的所有连通区域后，判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1；

S4、不断迭代执行S1～S3，且迭代一次更新目标跟踪列表后，对目标跟踪列表中的所有跟踪目标进行遍历，若跟踪目标的连续消失次数超过第二阈值，则从目标跟踪列表中删除该跟踪目标，若跟踪目标的出现次数超过第三阈值且该跟踪目标的连通区域内像素波动平均值小于第四阈值，则认为该跟踪目标为漏油导致的油渍块，触发设备漏油报警。

作为上述第一方面的优选，所述红外热成像摄像头支持RTSP、ONVIF协议，通过在相应的SDK中输入设备IP、端口号、用户名及密码后显示获取到的红外热成像信号数据。

作为上述第一方面的优选，所述抛点处理过程中，需去除所述灰度直方图的值域范围内灰度值最大的5％像素和灰度值最小的5％像素。

作为上述第一方面的优选，所述聚类采用K-means聚类，其做法为：

S31、随机选取第二ROI区域图像中的任意两个像素点作为初始聚类中心；

S32、计算第二ROI区域图像中其余每个像素点与两个聚类中心之间的距离，其中所述距离为像素点与聚类中心之间灰度值之差的绝对值；

S33、将第二ROI区域图像中其余每个像素点划分至距离值最近的类簇中，然后对每个类簇中的所有像素点计算灰度值的平均值，并将平均值作为新的聚类中心；

S34、不断迭代S32和S33，直至聚类中心收敛，得到最终聚类结果。

作为上述第一方面的优选，所述孤立点去除的做法为：

遍历二值图中的每一个像素点，若以该像素点为中心的3×3范围内9个像素的像素值之和小于9，则判断该点为孤立点，将孤立点在二值图中的像素值置为0。

作为上述第一方面的优选，所述基于最小面积进行筛选的做法为：

按照预设的油渍块区域最小面积阈值对经过孤立点去除的二值图中的连通区域进行筛选，提取出面积大于油渍块区域最小面积阈值的连通区域，过滤掉面积不大于油渍块区域最小面积阈值的连通区域。

作为上述第一方面的优选，所述油渍块区域最小面积阈值为80～120个像素。

作为上述第一方面的优选，将当前遍历连通区域在目标跟踪列表中进行目标匹配时，匹配规则如下：

计算当前遍历连通区域的质心，并判断该质心是否落在目标跟踪列表中一个跟踪目标最新的外包矩形框内且两个连通区域的面积变化率小于50％，若是，则视为当前遍历连通区域与对应的跟踪目标属于同一跟踪目标，若否，则视为当前遍历连通区域为一个新跟踪目标。

作为上述第一方面的优选，触发设备漏油报警时，将油渍块的外包矩形框显示于红外监控图像帧上，并通过声、光、电、图像、文字中的一种或多种发出报警信号。

第二方面，本发明提供了一种基于红外热成像的设备漏油检测***，其包括：

实时图像获取模块，用于通过视角固定的红外热成像摄像头实时获取目标监控区域的红外监控图像帧，并根据预设的ROI区域坐标框从红外监控图像帧中提取覆盖油渍块出现范围的第一ROI区域图像；

预处理模块，用于对实时图像获取模块中获取的所述第一ROI区域图像进行灰度值统计，得到第一ROI区域图像的灰度直方图，再对所述第一ROI区域图像进行抛点处理得到第二ROI区域图像；所述抛点处理为去除第一ROI区域图像中像素值位于所述灰度直方图的值域两端的极值像素；

目标跟踪模块，用于对预处理模块中得到的第二ROI区域图像的像素值进行聚类，若所有像素值被聚为一类，则视为该第二ROI区域图像获取时刻不存在漏油情况，继续对下一帧红外监控图像帧执行S1～S3；若所有像素值被聚为多类，则视为当前目标监控区域中可能存在漏油情况，以所有聚类中心像素值的平均值作为第一阈值对第二ROI区域图像进行二值化，若像素值小于等于第一阈值则置为1，否则置为0，从而建立包含疑似油渍块的二值图；再对二值图进行孤立点去除后基于最小面积进行筛选，筛选得到的所有连通区域更新至目标跟踪列表中；其中更新过程如下：

遍历筛选得到的每个连通区域，将当前遍历连通区域在目标跟踪列表中进行目标匹配，若匹配不到同一跟踪目标，则在目标跟踪列表中将当前遍历连通区域增加为一个新跟踪目标，并初始化该新跟踪目标的目标出现次数为1，连续消失次数为0；若匹配到同一跟踪目标，则将目标跟踪列表中这个跟踪目标的出现次数加1，这个跟踪目标的连续消失次数置0；当遍历完筛选得到的所有连通区域后，判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1；

设备漏油报警模块，用于不断迭代执行实时图像获取模块、预处理模块和目标跟踪模块，且迭代一次更新目标跟踪列表后，对目标跟踪列表中的所有跟踪目标进行遍历，若跟踪目标的连续消失次数超过第二阈值，则从目标跟踪列表中删除该跟踪目标，若跟踪目标的出现次数超过第三阈值且该跟踪目标的连通区域内像素波动平均值小于第四阈值，则认为该跟踪目标为漏油导致的油渍块，触发设备漏油报警。

本发明相对于现有技术而言，具有以下有益效果：

1)本发明将漏油检测与红外热成像相结合，彻底摆脱了天气对设备漏油检测的影响，相比于现有的人工巡检方式，无需再到现场进行近距离检测，这使得设备漏油检测变得更加高效便捷。

2)本发明使用了K-means聚类来进行设备漏油检测，红外图像经过预处理后输入到K-means模型中，可自动识别出红外图像中存在的设备漏油缺陷信息，该过程不需要人为参与，因而减少了人为失误，提高了检测准确率和工作效率，而且拓展了红外热成像的应用邻域。

3)本发明不仅实现了设备漏油情况的实时智能检测，而且提高了检测效率和准确性，此外，在判断出设备存在漏油情况时能够及时输出报警信息，大大提高了生产的安全性。

附图说明

图1为本发明实施例提供的基于红外热成像的设备漏油检测方法流程图。

图2为本发明实施例提供的待检测ROI区域图像；

图3为本发明实施例提供的经过检测后的ROI区域可疑油渍二值图；

图4为本发明实施例提供的去除散点后的ROI区域可疑油渍二值图。

图5为本发明实施例提供的最终输出的报警框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

本发明的发明构思是：在可能存在漏油情况的设备前上方安装红外热成像摄像头，并在摄像头的监控图像中预置一个ROI漏油检测区域；再通过网络或者RTSP协议实时获取所述摄像头的红外热成像信号数据，再对所述的ROI区域进行漏油检测，找到可疑油渍连通区域；最后对检测到的可疑油渍连通区域进行分析，并根据分析结果决定是否在监控图像上输出漏油检测报警信息框。

上述方案中，本发明将漏油检测与红外热成像相结合，通过分析目标区域内不同波段的红外辐射数据来判断目标区域内是否存在漏油情况，利用红外热成像摄像头获取的视频图像进行实时智能检测，并在判断出设备存在漏油情况时能够及时输出报警信息，这不仅提高了检测效率和准确性，而且大大提高了生产的安全性，下面对本发明的具体实现进行详细展开说明。

如图1所示，在本发明的一个较佳实施例中，提供了一种基于红外热成像的设备漏油检测方法，其包括以下步骤：

S1、通过视角固定的红外热成像摄像头实时获取目标监控区域的红外监控图像帧，并根据预设的ROI区域坐标框从红外监控图像帧中提取覆盖油渍块出现范围的第一ROI区域图像。

作为本发明实施例的一种较佳实现方式，在提取第一ROI区域图像时，可以首先根据上层指令给出的坐标框在实时视频图像中绘制一个可能存在漏油情况的ROI区域，并将该区域的灰度值及其对应的坐标进行缓存，而在原始视频图像中，除ROI区域以外的部分全部用0填充，如图2所示。

需要说明的是，红外摄像头的目标监控区域应当覆盖整个设备及设备周围可能存在漏油情况的区域，而且其视角需要是固定的。红外摄像头的具体形式不限，可以实时获取准确的红外图像即可。作为本发明实施例的一种较佳实现方式，该红外摄像头最好支持RTSP、ONVIF协议，在相应的SDK中输入设备IP、端口号、用户名及密码后即可显示获取到的红外热成像信号数据。

S2、对S1中获取的所述第一ROI区域图像进行灰度值统计，得到第一ROI区域图像的灰度直方图，再对所述第一ROI区域图像进行抛点处理得到第二ROI区域图像；所述抛点处理为去除第一ROI区域图像中像素值位于所述灰度直方图的值域两端的极值像素。

作为本发明实施例的一种较佳实现方式，在获取灰度直方图时，可根据目标监控区域内的实时红外热成像信号数据统计ROI区域图像的灰度分布直方图，统计完成后，将该ROI区域图像的灰度直方图保存到数组中，以便于后续的漏油检测过程中调用。

作为本发明实施例的一种较佳实现方式，在进行抛点处理时，可首先根据已缓存的ROI区域图像的灰度直方图对该区域的像素进行抛点，以排除一些无用像素或者极值像素的干扰，并提高检测的效率，抛点的比例可设置为10％，即需去除所述灰度直方图的值域范围内灰度值最大的5％像素和灰度值最小的5％像素。例如，灰度直方图的值域范围为[x_min,x_max]，则需要去除像素灰度值落在[x_min,x_min+0.05(x_max-x_min)]和[x_max,x_max-0.05(x_max-x_min)]两个区域内的像素点。

S3、对S2中得到的第二ROI区域图像的像素值进行聚类，若所有像素值被聚为一类，则视为该第二ROI区域图像获取时刻不存在漏油情况，继续对下一帧红外监控图像帧执行S1～S3；若所有像素值被聚为多类，则视为当前目标监控区域中可能存在漏油情况，以所有聚类中心像素值的平均值作为第一阈值对第二ROI区域图像进行二值化，若像素值小于等于第一阈值则置为1，否则置为0，从而建立包含疑似油渍块的二值图；再对二值图进行孤立点去除后基于最小面积进行筛选，筛选得到的所有连通区域更新至目标跟踪列表中。

作为本发明实施例的一种较佳实现方式，聚类方式可采用K-means聚类，其做法为：

S31、随机选取第二ROI区域图像中的任意两个像素点作为初始聚类中心；

S32、计算第二ROI区域图像中其余每个像素点与两个聚类中心之间的距离，其中所述距离为像素点与聚类中心之间灰度值之差的绝对值；

S33、将第二ROI区域图像中其余每个像素点划分至距离值最近的类簇中，然后对每个类簇中的所有像素点计算灰度值的平均值，并将平均值作为新的聚类中心；

S34、不断迭代S32和S33，直至聚类中心收敛不再变动，即可得到最终聚类结果。

另外，去除孤立点的目的是删除二值图中明显不属于油渍块的离散点，减少后续漏油判定的计算量，提高计算效率。作为本发明实施例的一种较佳实现方式，孤立点去除的做法为：遍历二值图中的每一个像素点，若以该像素点为中心的3×3范围内9个像素的像素值之和小于9，则判断该点为孤立点，将孤立点在二值图中的像素值置为0。

另外，基于最小面积进行筛选的目的是去除面积明显小于油渍块区域正常面积尺寸的连通区域，减少后续漏油判定的计算量，提高计算效率。作为本发明实施例的一种较佳实现方式，基于最小面积进行筛选的做法为：

按照预设的油渍块区域最小面积阈值对经过孤立点去除的二值图中的连通区域进行筛选，提取出面积大于油渍块区域最小面积阈值的连通区域，过滤掉面积不大于油渍块区域最小面积阈值的连通区域。其中，油渍块区域最小面积阈值需要根据实际的检测区域大小以及油渍块在该区域中常见的面积尺寸决定。在一实施例中，油渍块区域最小面积阈值可设置为80～120个像素，优选为100个像素。即当某一连通区域内的像素数量少于100时，则认为该连通区域面积较小，不可能属于油渍块区域。

需要说明的是，本发明中聚类的目的是判断是否存在漏油情况，其原理是油渍块的出现会导致油渍块区域中像素的灰度值明显差别于其他正常区域。因此，可基于这种灰度值的变化原理，通过对像素灰度值进行聚类来判别是否存在漏油情况。如果ROI区域的像素值被聚为一类，则表示该区域不存在漏油情况，此时继续对下一帧红外热成像图像进行上述K-means聚类操作，如果ROI区域的像素值被聚为多类(一般可设聚类的类簇为两类)，则表示该区域可能存在漏油的情况，此时保存聚类中心像素值。接下来再遍历整个ROI区域，并以所有聚类中心像素值的平均值作为阈值来将该区域转化为二值图，即当ROI区域中的像素值小于等于阈值时，则将该像素值置为1，否则为0。在一个示例中，通过这个过程，就得到了一个包含ROI区域漏油信息的二值图，如图3所示。而从图3中可以看出，提取到的ROI区域图像二值图有较多的散点，这会影响后续的检测准确性，因此接下来需要去除该二值图中的散点，若以矩阵A＝{a_ij}_m×n表示该二值图，那么对于该矩阵中的任意一点a_ij，若满足

则表示该点为孤立点，即散点，此时令a_ij＝0即可去除该散点，去除散点后的二值图如图4所示。

本发明中，将筛选得到的所有连通区域更新至目标跟踪列表中的核心目的是追踪各疑似油渍块的连通区域在不同图像帧中的出现和消失情况，以便于判断是否真的出现漏油。本发明中目标跟踪列表的具体更新过程如下：

遍历筛选得到的每个连通区域，将当前遍历连通区域在目标跟踪列表中进行目标匹配，若匹配不到同一跟踪目标，则在目标跟踪列表中将当前遍历连通区域增加为一个新跟踪目标，并初始化该新跟踪目标的目标出现次数为1，连续消失次数为0；若匹配到同一跟踪目标，则将目标跟踪列表中这个跟踪目标的出现次数加1，这个跟踪目标的连续消失次数置0；当遍历完筛选得到的所有连通区域后，判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1。

需要说明的是，为了便于计算机自动地执行上述目标跟踪列表的更新过程，对于去除散点后的二值图中筛选出来的可疑油渍块的连通区域，可通过行扫描的方式统计和记录各连通区域，并对对各个连通区域用不重复的唯一编号标记。行扫描过程中同一个连通区域如果存在明显不规则情况，可能会被记录多次，因此可对扫描完后记录的所有连通区域进行面积比对，如果出现两个面积完全相同的连通区域则视为是同一个连通区域，需要将对应的编号合并。而且，由于一般的图像中连通区域数量较少，一般不会超过254个，因此考虑到算法效率，当标记的连通区域个数达到254个时，可不再统计剩余的连通区域个数，并将剩下未统计的像素值赋值为0，避免在部分异常情况下算法产生过大的计算量，影响检测的实时性。另外，为了便于后续的目标匹配，可按照最终的编号来获取各个连通区域的外接矩形坐标，并将该坐标保存，以便于目标匹配过程中调用。

在上述目标跟踪列表更新过程中，其前提是需要判断当前实时的红外监控图像帧中所找到的连通区域，是否在目标跟踪列表中有同一个对应的连通区域，两者的匹配规则可以根据油渍块的连通区域的几何变换情况来设计。

由此，在本发明实施例的一种较佳实现方式中，为便于描述，遍历筛选得到的每个连通区域时，将每一个遍历过程中当前计算的连通区域称为当前遍历连通区域。将当前遍历连通区域在目标跟踪列表中进行目标匹配时的具体匹配规则如下：

计算当前遍历连通区域的质心，并判断该质心是否落在目标跟踪列表中一个跟踪目标最新的外包矩形框内且两个连通区域的面积变化率小于50％，若是，则视为当前遍历连通区域与对应的跟踪目标属于同一跟踪目标，若否，则视为当前遍历连通区域为一个新跟踪目标。

需要说明的是，由于目标跟踪列表中的每个跟踪目标实际上在每一帧红外监控图像帧中出现时，都对应一个连通区域，因此一个跟踪目标记录了不同时间的连通区域。而该较佳方式中，在匹配时需要调用最新记录的连通区域，即前述的跟踪目标最新的外包矩形框是这个跟踪目标最新记录的连通区域的外包矩形框。另外，“两个连通区域的面积变化率”中，两个连通区域是指跟踪目标最新记录的连通区域与当前遍历连通区域，其面积变化率可以由两者面积的差值除以两者面积的最大值来计算。连通区域的面积可以用所包含的像素数量来代替。

需要说明的是，当遍历完筛选得到的所有连通区域后，上述所说的“判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1”，这种做法的目的是记录跟踪目标在每一帧图像中的消失情况。因为如果出现了油渍块引起的连通区域，那么这个油渍块必然会持续出现在不同的红外监控图像帧中，但是假如是其他的光照原因或者杂物导致的黑影区域，则不会持续存在于不同的红外监控图像帧中。因此，对一个跟踪目标而言，每一次获得一帧新的红外监控图像帧后，都需要判断这个跟踪目标在这帧图像中有没有出现，如果出现则对目标出现次数加1，如果没有出现则对连续消失次数加1。

S4、不断迭代执行S1～S3，且迭代一次更新目标跟踪列表后，对目标跟踪列表中的所有跟踪目标进行遍历，若跟踪目标的连续消失次数超过第二阈值，则从目标跟踪列表中删除该跟踪目标，若跟踪目标的出现次数超过第三阈值且该跟踪目标的连通区域内像素波动平均值小于第四阈值，则认为该跟踪目标为漏油导致的油渍块，触发设备漏油报警。

需要说明的是，上述第二阈值、第三阈值和第四阈值均可根据实际情况进行优化调整，以能够达到最佳的设备漏油检测准确性为准。

在本发明实施例的一种较佳实现方式中，第二阈值可设置为总判别次数的20％，即某个跟踪目标连续多帧消失，且消失次数为总判别次数的20％，则将该跟踪目标判定为消失，后续不再对该跟踪目标进行跟踪。

在本发明实施例的一种较佳实现方式中，第三阈值设置为目标报警最小帧数N。若某一跟踪目标从第一次出现到当前帧总共的出现次数大于等于N，且该目标连通区域内的像素波动平均值小于波动平均阈值时，则认为该目标满足报警条件。一般而言，上述的N的取值可根据实际需要进行调整，例如设置N＝40或N＝60等，在一示例中N的取值可设置为40。

在本发明实施例的一种较佳实现方式中，第四阈值是一个像素波动平均阈值M，其需要根据实际场景中目标连通区域内的像素波动平均值变化情况进行优化设计，在一示例中取值为60。

需要说明的是，所谓跟踪目标的连通区域内像素波动平均值，是指该跟踪目标在所有帧中的连通区域中最大像素值的波动情况，这种波动情况可以通过不同的计算方式来表征。在本发明实施例的一种较佳实现方式中，假设一个跟踪目标i的出现次数为N_i，则需要对这N_i个连通区域分别提取区域内的灰度最大值x，然后对这N_i个连通区域按记录的时间进行排序，计算序列中每一对相邻连通区域对应的灰度最大值x的差值，将这N_i-1个差值的绝对值取平均，即为跟踪目标的连通区域内像素波动平均值。

在一示例中，经过分析后若确认当前目标满足报警条件，即存在漏油情况，则在监控图像上输出漏油报警信息框，如图5所示。

另外，为了避免报警形式单一，可以在SDK视频显示端设置相应的报警模块，其中可发出的报警信号形式可选择为声、光、电、图像、文字中的一种或多种。这些报警信号可以发送至外部终端，然后再由外部终端将报警信息传达给相关工作人员。其中，外部终端包括声光报警器、移动手机、云平台、服务器等等，主要作用是第一时间引起相关人员的注意，使得相关人员能够迅速对该安全隐患作出反应，从而避免危险事故的发生。

另外，基于与上述实施例中提供的一种基于红外热成像的设备漏油检测方法相同的发明构思，本发明的另一较佳实施例中提供了一种基于红外热成像的设备漏油检测***，该***包括以下功能模块：

实时图像获取模块，用于通过视角固定的红外热成像摄像头实时获取目标监控区域的红外监控图像帧，并根据预设的ROI区域坐标框从红外监控图像帧中提取覆盖油渍块出现范围的第一ROI区域图像；

预处理模块，用于对实时图像获取模块中获取的所述第一ROI区域图像进行灰度值统计，得到第一ROI区域图像的灰度直方图，再对所述第一ROI区域图像进行抛点处理得到第二ROI区域图像；所述抛点处理为去除第一ROI区域图像中像素值位于所述灰度直方图的值域两端的极值像素；

目标跟踪模块，用于对预处理模块中得到的第二ROI区域图像的像素值进行聚类，若所有像素值被聚为一类，则视为该第二ROI区域图像获取时刻不存在漏油情况，继续对下一帧红外监控图像帧执行S1～S3；若所有像素值被聚为多类，则视为当前目标监控区域中可能存在漏油情况，以所有聚类中心像素值的平均值作为第一阈值对第二ROI区域图像进行二值化，若像素值小于等于第一阈值则置为1，否则置为0，从而建立包含疑似油渍块的二值图；再对二值图进行孤立点去除后基于最小面积进行筛选，筛选得到的所有连通区域更新至目标跟踪列表中；其中更新过程如下：

遍历筛选得到的每个连通区域，将当前遍历连通区域在目标跟踪列表中进行目标匹配，若匹配不到同一跟踪目标，则在目标跟踪列表中将当前遍历连通区域增加为一个新跟踪目标，并初始化该新跟踪目标的目标出现次数为1，连续消失次数为0；若匹配到同一跟踪目标，则将目标跟踪列表中这个跟踪目标的出现次数加1，这个跟踪目标的连续消失次数置0；当遍历完筛选得到的所有连通区域后，判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1；

设备漏油报警模块，用于不断迭代执行实时图像获取模块、预处理模块和目标跟踪模块，且迭代一次更新目标跟踪列表后，对目标跟踪列表中的所有跟踪目标进行遍历，若跟踪目标的连续消失次数超过第二阈值，则从目标跟踪列表中删除该跟踪目标，若跟踪目标的出现次数超过第三阈值且该跟踪目标的连通区域内像素波动平均值小于第四阈值，则认为该跟踪目标为漏油导致的油渍块，触发设备漏油报警。

由于上述基于红外热成像的设备漏油检测方法解决问题的原理与本发明上述实施例的基于红外热成像的设备漏油检测***相似，因此该实施例中***的各模块具体实现形式未尽之处亦可参见上述S1～S4所示方法部分的具体实现形式，重复之处不再赘述。

另外需要说明的是，上述实施例提供的***中，各模块在被执行是相当于是按序执行的程序模块，因此其本质上是执行了一种数据处理的流程。且所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述方法和***中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。

综上所述，本发明的基于红外热成像的设备漏油检测方法及***，使用了K-means聚类对红外热成像摄像头获取的视频图像进行实时检测，可自动识别出红外图像中存在的漏油缺陷信息，该过程不需要人为参与，因而减少了人为失误，本发明不仅实现了设备漏油情况的实时智能检测，而且提高了检测效率和准确性。此外，在判断出设备存在漏油情况时能够及时输出报警信息，大大提高了生产的安全性。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于红外热成像的设备漏油检测方法，其特征在于，包括以下步骤：

S1、通过视角固定的红外热成像摄像头实时获取目标监控区域的红外监控图像帧，并根据预设的ROI区域坐标框从红外监控图像帧中提取覆盖油渍块出现范围的第一ROI区域图像；

S2、对S1中获取的所述第一ROI区域图像进行灰度值统计，得到第一ROI区域图像的灰度直方图，再对所述第一ROI区域图像进行抛点处理得到第二ROI区域图像；所述抛点处理为去除第一ROI区域图像中像素值位于所述灰度直方图的值域两端的极值像素；

S3、对S2中得到的第二ROI区域图像的像素值进行聚类，若所有像素值被聚为一类，则视为该第二ROI区域图像获取时刻不存在漏油情况，继续对下一帧红外监控图像帧执行S1～S3；若所有像素值被聚为多类，则视为当前目标监控区域中可能存在漏油情况，以所有聚类中心像素值的平均值作为第一阈值对第二ROI区域图像进行二值化，若像素值小于等于第一阈值则置为1，否则置为0，从而建立包含疑似油渍块的二值图；再对二值图进行孤立点去除后基于最小面积进行筛选，筛选得到的所有连通区域更新至目标跟踪列表中；其中更新过程如下：

遍历筛选得到的每个连通区域，将当前遍历连通区域在目标跟踪列表中进行目标匹配，若匹配不到同一跟踪目标，则在目标跟踪列表中将当前遍历连通区域增加为一个新跟踪目标，并初始化该新跟踪目标的目标出现次数为1，连续消失次数为0；若匹配到同一跟踪目标，则将目标跟踪列表中这个跟踪目标的出现次数加1，这个跟踪目标的连续消失次数置0；当遍历完筛选得到的所有连通区域后，判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1；

S4、不断迭代执行S1～S3，且迭代一次更新目标跟踪列表后，对目标跟踪列表中的所有跟踪目标进行遍历，若跟踪目标的连续消失次数超过第二阈值，则从目标跟踪列表中删除该跟踪目标，若跟踪目标的出现次数超过第三阈值且该跟踪目标的连通区域内像素波动平均值小于第四阈值，则认为该跟踪目标为漏油导致的油渍块，触发设备漏油报警。

2.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，所述红外热成像摄像头支持RTSP、ONVIF协议，通过在相应的SDK中输入设备IP、端口号、用户名及密码后显示获取到的红外热成像信号数据。

3.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，所述抛点处理过程中，需去除所述灰度直方图的值域范围内灰度值最大的5％像素和灰度值最小的5％像素。

4.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，所述聚类采用K-means聚类，其做法为：

S31、随机选取第二ROI区域图像中的任意两个像素点作为初始聚类中心；

S32、计算第二ROI区域图像中其余每个像素点与两个聚类中心之间的距离，其中所述距离为像素点与聚类中心之间灰度值之差的绝对值；

S33、将第二ROI区域图像中其余每个像素点划分至距离值最近的类簇中，然后对每个类簇中的所有像素点计算灰度值的平均值，并将平均值作为新的聚类中心；

S34、不断迭代S32和S33，直至聚类中心收敛，得到最终聚类结果。

5.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，所述孤立点去除的做法为：

遍历二值图中的每一个像素点，若以该像素点为中心的3×3范围内9个像素的像素值之和小于9，则判断该点为孤立点，将孤立点在二值图中的像素值置为0。

6.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，所述基于最小面积进行筛选的做法为：

按照预设的油渍块区域最小面积阈值对经过孤立点去除的二值图中的连通区域进行筛选，提取出面积大于油渍块区域最小面积阈值的连通区域，过滤掉面积不大于油渍块区域最小面积阈值的连通区域。

7.如权利要求6所述的基于红外热成像的设备漏油检测方法，其特征在于，所述油渍块区域最小面积阈值为80～120个像素。

8.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，将当前遍历连通区域在目标跟踪列表中进行目标匹配时，匹配规则如下：

计算当前遍历连通区域的质心，并判断该质心是否落在目标跟踪列表中一个跟踪目标最新的外包矩形框内且两个连通区域的面积变化率小于50％，若是，则视为当前遍历连通区域与对应的跟踪目标属于同一跟踪目标，若否，则视为当前遍历连通区域为一个新跟踪目标。

9.如权利要求1所述的基于红外热成像的设备漏油检测方法，其特征在于，触发设备漏油报警时，将油渍块的外包矩形框显示于红外监控图像帧上，并通过声、光、电、图像、文字中的一种或多种发出报警信号。

10.一种基于红外热成像的设备漏油检测***，其特征在于，包括：

实时图像获取模块，用于通过视角固定的红外热成像摄像头实时获取目标监控区域的红外监控图像帧，并根据预设的ROI区域坐标框从红外监控图像帧中提取覆盖油渍块出现范围的第一ROI区域图像；

预处理模块，用于对实时图像获取模块中获取的所述第一ROI区域图像进行灰度值统计，得到第一ROI区域图像的灰度直方图，再对所述第一ROI区域图像进行抛点处理得到第二ROI区域图像；所述抛点处理为去除第一ROI区域图像中像素值位于所述灰度直方图的值域两端的极值像素；

目标跟踪模块，用于对预处理模块中得到的第二ROI区域图像的像素值进行聚类，若所有像素值被聚为一类，则视为该第二ROI区域图像获取时刻不存在漏油情况，继续对下一帧红外监控图像帧执行S1～S3；若所有像素值被聚为多类，则视为当前目标监控区域中可能存在漏油情况，以所有聚类中心像素值的平均值作为第一阈值对第二ROI区域图像进行二值化，若像素值小于等于第一阈值则置为1，否则置为0，从而建立包含疑似油渍块的二值图；再对二值图进行孤立点去除后基于最小面积进行筛选，筛选得到的所有连通区域更新至目标跟踪列表中；其中更新过程如下：

遍历筛选得到的每个连通区域，将当前遍历连通区域在目标跟踪列表中进行目标匹配，若匹配不到同一跟踪目标，则在目标跟踪列表中将当前遍历连通区域增加为一个新跟踪目标，并初始化该新跟踪目标的目标出现次数为1，连续消失次数为0；若匹配到同一跟踪目标，则将目标跟踪列表中这个跟踪目标的出现次数加1，这个跟踪目标的连续消失次数置0；当遍历完筛选得到的所有连通区域后，判断目标跟踪列表中是否存在目标出现次数未被加1的原有跟踪目标，若存在则对其连续消失次数进行加1；

设备漏油报警模块，用于不断迭代执行实时图像获取模块、预处理模块和目标跟踪模块，且迭代一次更新目标跟踪列表后，对目标跟踪列表中的所有跟踪目标进行遍历，若跟踪目标的连续消失次数超过第二阈值，则从目标跟踪列表中删除该跟踪目标，若跟踪目标的出现次数超过第三阈值且该跟踪目标的连通区域内像素波动平均值小于第四阈值，则认为该跟踪目标为漏油导致的油渍块，触发设备漏油报警。

Images